Apa yang baru
Ada lebih dari 200 bahasa isyarat di dunia, dan untuk sekitar 70 juta orang tuli dan sulit mendengar, mereka melayani sebagai sarana utama komunikasi. Sampai saat ini, kecerdasan buatan hampir tidak digunakan untuk menerjemahkan bahasa ini dalam produk sehari-hari. Google DeepMint memutuskan untuk memperbaiki hal ini: SL2T baru (sign- language -to- teks) model menerjemahkan bahasa isyarat ke teks dan telah diintegrasikan ke dalam aplikasi yang akrab.
Pengguna akan dapat "mendikte" dengan gerakan bukan mengetik pada keyboard. Fitur sedang bergulir di Gboard dan aplikasi captioning Live Transcription pada Piksel 11 smartphones - pasangan pertama adalah Bahasa Tandatangan Amerika (ASL) dan Bahasa Inggris. Lebih banyak bahasa dan perangkat yang dijanjikan kemudian.
Apa artinya ini dalam praktek? Anda dapat mencari web dengan gerakan, menulis pesan atau dokumen, dan bahkan berbicara dengan Gemini Asisten. Di Live Translate, Anda akan dapat menanggapi dengan gerakan tepat di tengah percakapan, tanpa beralih ke percakapan teks. Menurut penguji, komunikasi seperti ini lebih cepat dan lebih alami daripada mengetik dalam bahasa Inggris. Bagi komunitas tuli, ini lebih dari sekedar kenyamanan: bahasa isyarat adalah fondasi identitas budaya, dan mampu menggunakannya di dunia digital berarti banyak.
Mengapa sulit
Bahasa isyarat bukan "Bahasa Inggris di tangan" - mereka adalah bahasa alami independen dengan tata bahasa mereka sendiri dan kosa kata. Itu sebabnya sinyal-ke-teks terjemahan tidak dapat dikurangi ke pencocokan setiap gerakan ke satu kata per satu. Artinya disampaikan secara bersamaan melalui tangan, tubuh, dan gerakan kepala ditambah ekspresi wajah, dan model harus melacak semua ini dengan akurasi tinggi secara real time.
Upaya awal seperti "sarung tangan bahasa isyarat" dasarnya terbatas tepat karena mereka diperlakukan tanda-tanda sebagai kode untuk kata-kata biasa. Terjemahan mesin nyata membutuhkan pemahaman struktur bahasa, termasuk konstruksi spasial dan penanda bukan manual. Model modern belajar dari dataset besar: SL2T menggunakan lebih dari 100.000 jam video di lebih dari 50 bahasa isyarat, dengan sekitar seperempat didedikasikan untuk ASL. Gabungan pelatihan di berbagai bahasa dan dialek membantu menemukan pola umum dan menghasilkan hasil yang lebih baik daripada terpisah model untuk setiap bahasa.
Bagaimana terjemahan bekerja
Alih-alih memproses aliran video, model menggunakan representasi kompak: ia melacak koordinat titik-titik tubuh kunci dan mengubah urutan koordinat menjadi teks. Ini memecahkan dua masalah sekaligus - mengurangi beban komputasional dan melindungi privasi. Video asli dihapus segera, dan hanya koordinat geometris dikirim ke server untuk terjemahan. Titik pelacakan ditangani oleh built-dalam model MediaPipa Holistik.
Terjemahan terjadi secara langsung, tanpa mengganggu menengah (Gloss). Pendekatan ini memungkinkan untuk menyampaikan aspek seperti penanda non-manual dan konstruksi spasial, dan menghindari keterbatasan kosakata buatan. Ukuran kualitas dengan volume data, sebagaimana konfirmasi benchmarks: pada tes FLEURS-ASL (sd-test), model mencapai skor zero- tembakan 70 BLEURT, jauh di depan dari semua sistem sebelumnya.
Peningkatan praktis juga penting. Pengembang meminimalkan latensi streaming, mengajarkan model untuk tidak berhalusinasi pada masukan non-sign, dihitung untuk pengguna kidal (sekitar 10% dari mereka), dan meningkatkan pengakuan dari satu tangan penandatanganan ketika tangan lain memegang smartphone.
Privasi dan masa depan
Ini adalah pertama kalinya AI untuk bahasa isyarat telah pindah dari laboratorium dan menjadi produk massal konsumen. Teknologi SL2T sudah tersedia pada beberapa perangkat, dan lebih banyak bahasa dan platform diharapkan turun jalan. Untuk komunitas tuli dan keras pendengaran, ini membuka jalan ke penyertaan digital penuh: sekarang Anda dapat berkomunikasi bebas dalam bahasa asli Anda menggunakan smartphone biasa.
Masa depan sistem tersebut terletak pada interaksi yang lebih alami dan cepat antara tanda dan bahasa bicara. Model generasi berikutnya tidak hanya akan mampu menerjemahkan frasa individu tetapi juga untuk mempertahankan percakapan penuh, mempertahankan nuansa emosi dan gaya. Dan itu akan berubah bukan hanya teknologi, tapi kehidupan sehari-hari jutaan orang.
