Une étudiante développe un nouveau modèle d'IA pour traduire la langue des signes

Priyanjali Gupta, jeune étudiante indienne a mis au point un système d’intelligence artificielle inclusif. Il permet de détecter et traduire l’ASL (langue des signes américaine) .

“Fais quelque chose d’utile”. C’est le conseil que Priyanjali Gupta a reçu de sa mère en février 2021. La jeune femme est étudiante en génie informatique au Vellore Institute of Technology à Tamil Nadu en Inde. Pour sa troisième année d’études des Sciences de l’informatique, elle cherchait un projet à présenter. Un jour en conversant avec son assistant vocal Alexa, la jeune femme se rend compte que les personnes sourdes ou malentendantes ne peuvent pas se servir de ce genre d’appareils. Elle décide de mettre au point un modèle d’IA plus inclusif, capable de traduire la langue des signes américaine. 

Un modèle d’IA prometteur 

L’ASL (American Sign Language) est considérée comme la troisième langue la plus utilisée aux Etats-Unis, derrière l’anglais et l’espagnol. Elle reste cependant peu prise en compte dans les applications et technologies de traduction. En mars 2020, des chercheurs de Google AI ont  présenté un modèle de détection de l’ASL. Il peut identifier les personnes qui signent avec une précision de 91%. Mais ce n’est pas assez. 

Priyanjali Gupta a créé un modèle d’intelligence artificielle exploitant l’API de détection d’objets Tensorflow. Il utilise l’apprentissage par transfert, via un modèle pré-formé baptisé "ssd-mobilenet". La jeune femme a créé un ensemble des données manuellement, avec une webcam d’ordinateur et des annotations. Priyanjali Gupta a réussi à faire comprendre à son IA six signes : bonjour, je t’aime, merci, s’il vous plaît, oui et non. 

Le modèle est pour le moment formé sur des images uniques, il ne peut pas encore détecter les vidéos. Pour cela, il faudrait que l’étudiante utilise un vrai modèle d’apprentissage avec des réseaux de mémoire longue à court terme (LSTM), ce qui nécessiterait une meilleure plateforme. 

Même s’il n’en est qu’à ses balbutiements, le modèle développé par Priyanjali Gupta est une petite avancée en la matière. L’étudiante reste persuadée que la communauté open source sera bientôt capable de trouver une réelle solution aux problèmes de communication avec les personnes sourdes et malentendantes.