Quoi de neuf ?
Il y a plus de 200 langues des signes dans le monde, et pour environ 70 millions de personnes sourdes et malentendantes, elles sont le principal moyen de communication. Jusqu'à récemment, l'intelligence artificielle était à peine utilisée pour traduire ces langues dans les produits quotidiens. Google DeepMind a décidé de corriger ceci : le nouveau modèle SL2T (sign-language-to-text) traduit le langage des signes en texte et est déjà intégré dans des applications familières.
Les utilisateurs pourront "dicter" avec des gestes au lieu de taper sur un clavier. La fonction se déroule dans Gboard et l'application de sous-titrage Live Transcribe sur les smartphones Pixel 11 — la première paire sera American Sign Language (ASL) et l'anglais. D'autres langues et appareils sont promis plus tard.
Qu'est-ce que cela signifie dans la pratique? Vous pouvez rechercher sur le web avec des gestes, composer des messages ou des documents, et même parler au Gemini Assistant. Dans Live Transcribe, vous serez en mesure de répondre avec des gestes en plein milieu d'une conversation, sans passer au chat texte. Selon les testeurs, ce type de communication est plus rapide et plus naturel que le typage en anglais. Pour la communauté sourde, c'est plus que de la commodité : le langage des signes est le fondement de l'identité culturelle, et pouvoir l'utiliser dans le monde numérique signifie beaucoup.
Pourquoi c'est dur
Les langues des signes ne sont pas « l'anglais aux mains », elles sont des langues naturelles indépendantes avec leur propre grammaire et vocabulaire. C'est pourquoi la traduction de signe à texte ne peut pas être réduite à correspondre chaque geste à un mot un par un. La signification est transmise simultanément par les mouvements de la main, du corps et de la tête, plus les expressions faciales, et le modèle doit suivre tout cela avec une grande précision en temps réel.
Les premières tentatives comme les « gants de langage des signes » ont été fondamentalement limitées précisément parce qu'ils ont traité les signes comme un code pour les mots ordinaires. La traduction automatique réelle nécessite de comprendre la structure du langage, y compris les constructions spatiales et les marqueurs non manuels. Les modèles modernes apprennent à partir de grands ensembles de données : SL2T a utilisé plus de 100 000 heures de vidéo dans plus de 50 langues des signes, avec environ un quart dédié à l'ASL. La formation conjointe entre les différentes langues et dialectes permet de trouver des modèles communs et donne de meilleurs résultats que des modèles distincts pour chaque langue.
Comment fonctionne la traduction
Au lieu de traiter le flux vidéo, le modèle utilise une représentation compacte : il suit les coordonnées des points de corps clés et transforme cette séquence de coordonnées en texte. Cela résout deux problèmes à la fois — il réduit la charge de calcul et protège la vie privée. La vidéo originale est supprimée immédiatement, et seules les coordonnées géométriques sont envoyées au serveur pour traduction. Le suivi des points est géré par le modèle Holistic MediaPipe intégré.
La traduction se produit directement, sans annotations intermédiaires (brillants). Cette approche permet de transmettre des aspects comme les marqueurs non manuels et les constructions spatiales, et évite les contraintes de vocabulaire artificiel. Échelles de qualité avec volume de données, comme le confirment les points de repère: sur le test FLEURS-ASL (essai sd), le modèle atteint un score zéro de 70 BLEURT, bien avant tous les systèmes précédents.
Les améliorations pratiques comptent aussi. Les développeurs ont minimisé la latence de streaming, enseigné au modèle de ne pas halluciner sur l'entrée de non-sign, compté pour les utilisateurs gauchers (environ 10% d'entre eux), et une meilleure reconnaissance de la signature à une seule main lorsque l'autre main tient un smartphone.
La vie privée et l'avenir
C'est la première fois que l'IA pour les langues des signes déménage du laboratoire et dans les produits de consommation de masse. La technologie SL2T est déjà disponible sur certains appareils, et d'autres langues et plateformes sont attendues sur la route. Pour la communauté sourde et malentendante, cela ouvre la voie à l'inclusion numérique complète : maintenant vous pouvez communiquer librement dans votre langue maternelle à l'aide d'un smartphone ordinaire.
L'avenir de ces systèmes réside dans une interaction plus naturelle et plus rapide entre les langues des signes et les langues parlées. Les prochaines générations de modèles pourront non seulement traduire des phrases individuelles mais aussi soutenir des conversations complètes, en préservant les nuances d'émotion et de style. Et cela changera non seulement la technologie, mais la vie quotidienne de millions de personnes.
