Filter Keamanan LLM Gagal di Luar Bahasa Inggris: Bagaimana Model Memperkuat Stereotip dalam Bahasa Lain

9 September 20264 tampilan

Para peneliti mengungkap ketimpangan lintas bahasa yang serius dalam keamanan model bahasa besar: penyelarasannya sebagian besar disetel ke bahasa Inggris, sehingga pada bahasa lain model lebih mudah melewati batasan dan mereproduksi prasangka berbahaya. Tolok ukur baru INCLUDE, yang diuji pada sepuluh model dan enam bahasa India, menunjukkan bahwa tingkat bias berbeda secara signifikan tergantung pada bahasa dan jenis model.

Filter Keamanan LLM Gagal di Luar Bahasa Inggris: Bagaimana Model Memperkuat Stereotip dalam Bahasa Lain

"Pendidikan" yang Berpusat pada Bahasa Inggris — Akar Masalahnya

Model bahasa besar modern dapat berkomunikasi dengan percaya diri dalam puluhan bahasa, tetapi cara berpikirnya tentang keamanan sebagian besar dilatih dalam bahasa Inggris. Tahap penyesuaian (alignment), di mana model menerima batasan — terhadap konten berbahaya, pernyataan beracun, nasihat berbahaya — hampir seluruhnya dibangun di atas data dan pengujian berbahasa Inggris. Kumpulan data untuk "tim merah", instruksi untuk penanda data, contoh penolakan standar — semuanya terutama tentang bahasa Inggris.

Peneliti Namya Bhatnagar secara sistematis mendeskripsikan masalah ini dalam karyanya "Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs" (arXiv:2608.18131, bagian Computer Science > Artificial Intelligence). Artikel ini diajukan pada 26 Juli 2026 dan dijadwalkan untuk IEEE SLT 2026 — konferensi tentang teknologi ucapan. Artikel ini mendokumentasikan efek yang pantas disebut ilusi keamanan: model tampak terlindungi dengan baik selama lawan bicara berbicara dalam bahasa Inggris, dan berhenti demikian di luar bahasa tersebut.

Kesenjangan ini dapat dijelaskan: model mengenali bahaya suatu frasa melalui contoh-contoh yang digunakan untuk melatihnya. Frasa bahasa Bengali, Tamil, atau Marathi dengan maksud yang sama mungkin tidak masuk ke dalam zona perhatian filter — contoh "berbahaya" seperti itu tidak ada dalam data. Akibatnya, respons stereotip dapat lolos di tempat yang analognya dalam bahasa Inggris akan diblokir sejak awal.

Suara: Saat Kegagalan Terlihat Langsung

Kesenjangan ini paling berbahaya terlihat pada antarmuka suara. Asisten percakapan tidak punya hak untuk melakukan pemeriksaan panjang: mereka harus menjawab saat itu juga, dan ucapan pengguna bersifat hidup, dengan intonasi, singkatan, dan campuran bahasa. Dalam kondisi seperti ini, filter yang berpusat pada bahasa Inggris tidak berfungsi untuk input non-Inggris, dan sistem dapat memberikan respons yang memperkuat stereotip sosial — berdasarkan kasta, wilayah, agama, atau profesi.

Untuk teknologi suara yang digunakan di antara populasi India yang beragam secara linguistik, menurut penulis, ini adalah mode kegagalan yang kritis. Pengguna menerima respons berbahaya segera, secara lisan, tanpa kemungkinan untuk memeriksa ulang atau menolaknya. Dan justru komunitas non-penutur bahasa Inggris yang menjadi zona dampak utama: pernyataan bias yang tidak akan lolos model dalam bahasa Inggris, terdengar tanpa pengaman apa pun dalam bahasa daerah. Ini bukan lagi risiko hipotetis untuk sistem generasi mendatang, tetapi kegagalan nyata yang terlihat hari ini.

INCLUDE: Optik India untuk Mengukur Bias

Untuk menilai skala masalah, pernyataan belaka tidak cukup — diperlukan alat ukur. Penulis mempersembahkan INCLUDE (Indian Cultural Lens for Understanding and Detecting Embedded Biases): tolok ukur evaluasi multibahasa yang dibuat untuk penilaian kuantitatif prasangka sosial budaya dalam konteks India.

Tolok ukur ini dibangun di atas 2604 prompt dalam enam bahasa:

  • Inggris;
  • Hindi;
  • Bengali;
  • Marathi;
  • Tamil;
  • Hinglish — campuran Hindi dan Inggris yang digunakan banyak orang India dalam kehidupan sehari-hari.

Ide utamanya adalah tidak menerjemahkan tes bahasa Inggris secara harfiah, tetapi mencari prasangka melalui realitas budaya India. Sepuluh model — dengan kode sumber terbuka dan tertutup — diuji pada kumpulan data ini, dan total 14.988 indikator bias dikumpulkan. Volume ini memungkinkan kita untuk melihat bukan "kesalahan" individual, melainkan pola sistemik.

Hasil Pengukuran Paling Tak Terduga

Analisis statistik menghasilkan dua pengamatan kunci, dan masing-masing layak mendapat perhatian khusus.

Di antara model terbuka, bahasa Bengali menunjukkan kinerja terburuk. Tingkat bias rata-rata dalam bahasa ini ternyata yang tertinggi di antara model sumber terbuka. Ini adalah sinyal yang sangat tidak menyenangkan: LLM terbuka sering kali dilatih ulang dan digunakan secara lokal, yang berarti merekalah yang paling "melenceng" dalam salah satu bahasa terbesar di India dan Bangladesh.

Bahasa Inggris mengejutkan dengan kebalikannya. Jika dalam model terbuka bahasa Inggris memberikan tingkat bias rata-rata terendah, maka dalam model tertutup — sebaliknya, yang tertinggi. Gambaran umum "model berpemilik lebih aman daripada model terbuka" tidak berlaku di sini: dalam bahasa Inggris, LLM tertutup secara tak terduga kalah dari LLM terbuka. Dengan kata lain, distribusi bias antar bahasa sangat bergantung pada kelas model yang Anda hadapi.

Kesimpulan: Keamanan Tidak Dapat Diterjemahkan Secara Harfiah

Pelajaran utama dari penelitian ini adalah bahwa prasangka budaya tidak dapat ditangkap oleh filter bahasa Inggris universal. Penerjemahan sederhana aturan berbahasa Inggris ke bahasa lain tidak menyelamatkan: stereotip berakar pada konteks lokal, dan model harus belajar mengenalinya dalam bahasa dan budaya tempat stereotip itu muncul.

Industri harus mempertimbangkan kembali praktik penyesuaian itu sendiri: memasukkan skenario non-Inggris ke dalam pelatihan, melibatkan penanda data dari komunitas bahasa target, dan secara teratur menguji model melalui tolok ukur multibahasa seperti INCLUDE. Jika tidak, muncullah paradoks: semakin banyak bahasa yang dikuasai model, semakin luas audiens yang tidak tercakup oleh perlindungannya.

Jika keamanan terus berpusat pada bahasa Inggris, "ilusi penyesuaian" akan terulang di setiap generasi LLM baru. Titik paling rentan akan tetap menjadi sistem suara dalam bahasa non-Inggris yang masif — dan pengguna nyatalah yang akan membayar harganya.

Pertanyaan yang sering ditanyakan

Filter Keamanan LLM Gagal di Luar Bahasa Inggris: Bagaimana Model Memperkuat Stereotip dalam Bahasa Lain