Dialek: memahami, tetapi tidak mereproduksi
Model bahasa besar modern cukup mahir dalam memahami bahasa Inggris dialektal — mereka dapat memahami pertanyaan atau perintah yang dirumuskan dalam varian bahasa regional. Namun, ketika diminta untuk menjawab dengan gaya yang sama, model hampir selalu beralih ke bahasa Inggris standar, yang paling sering berorientasi pada norma Amerika. Muncul kesenjangan yang menarik: model mendengar dialek, menafsirkannya dengan baik, tetapi berbicara dalam bahasa "sastra". Dalam literatur penelitian, fenomena ini disebut robustness-generation gap — kesenjangan antara ketahanan terhadap input non-standar dan kemampuan untuk mereproduksinya dalam generasi sendiri.
Kesenjangan inilah yang ingin dikaji oleh para penulis karya DiaLLM, yang baru-baru ini dipublikasikan di arXiv (2607.07669). Mereka mengajukan pertanyaan: dapatkah model bahasa terbuka diajarkan tidak hanya untuk memahami dialek, tetapi juga untuk secara aktif berbicara dalam dialek tersebut — dan jika ya, metode pelatihan apa yang memberikan hasil terbaik.
Apa yang ditawarkan DiaLLM
Para peneliti tidak melakukan fine-tuning model pada satu dialek tertentu. Sebagai gantinya, mereka mengambil tiga keluarga LLM terbuka dan melanjutkan pra-pelatihan mereka pada Korpus Internasional Bahasa Inggris (International Corpus of English). Korpus semacam itu berisi teks dalam berbagai varian nasional dan regional — dari Australia hingga India.
Selanjutnya, pelatihan dibagi menjadi dua arah: paradigma implisit, di mana model mempelajari fitur dialek dari contoh-contoh, dan paradigma eksplisit, di mana model secara eksplisit dilatih untuk memilih formulasi dialektal. Setiap arah juga dikombinasikan dengan salah satu dari tiga strategi penyelarasan. Hasilnya adalah semacam matriks eksperimen yang memungkinkan penilaian kontribusi setiap tahap pelatihan secara terpisah.
Menurut klaim para penulis, ini adalah perbandingan terkontrol pertama dari komponen-komponen semacam itu untuk varian bahasa Inggris Australia, India, dan Utara. Sebelumnya, tidak ada yang menguji metode-metode ini pada basis eksperimental yang seragam.
Apa yang ditunjukkan oleh eksperimen
Kesimpulan utamanya adalah bahwa kemampuan untuk memahami dialek dan kemampuan untuk menghasilkannya memang tidak terkait secara langsung. Satu tidak mengikuti dari yang lain: model dapat memproses konstruksi dialektal dengan sangat baik dan tetap bersikeras menjawab dengan bahasa standar.
Hal lain juga menarik. Hasil model pada benchmark otomatis sebagian besar ditentukan oleh pra-pelatihan lanjutan dan supervised fine-tuning (SFT). Pengaruh penyelarasan pada metrik pengujian hampir tidak terlihat. Tetapi ini tidak berarti penyelarasan tidak berguna: ia mengubah gaya jawaban secara signifikan, hanya saja benchmark standar tidak sensitif terhadap perubahan semacam itu. Jadi, jika model dievaluasi hanya berdasarkan angka, seseorang dapat secara keliru menyimpulkan bahwa semua metode setara.
Mengapa generasi dialek adalah tugas yang sulit
Para penulis secara terpisah membandingkan adaptasi eksplisit ke varian bahasa tertentu dan penyelarasan yang lebih luas yang tidak terikat pada dialek. Pendekatan eksplisit memang menghasilkan teks yang dikenali dengan yakin sebagai dialektal oleh pengklasifikasi otomatis dan manusia. Jawaban semacam itu menerima skor lebih tinggi dibandingkan dengan penyelarasan luas.
Tetapi di sini muncul nuansa yang tidak terduga. Metode yang paling agresif mengoptimalkan "penghargaan dialektal", yaitu yang paling aktif mendorong model untuk menggunakan ungkapan dialektal, pada akhirnya tidak disukai oleh penilai manusia. Kriteria formal yang tertanam dalam algoritme tidak sesuai dengan gagasan manusia tentang ucapan dialektal yang berkualitas. Analisis linguistik tambahan mengonfirmasi: ada kesenjangan antara optimasi formal dan kualitas nyata, yang terutama terlihat pada dua dari tiga keluarga model.
Dengan demikian, tidak satu pun dari tiga strategi penyelarasan menunjukkan keunggulan tanpa syarat. Tidak ada resep sederhana seperti "fine-tune model pada dialek dan dapatkan asisten yang berbicara dalam dialek tersebut". Untuk menutup kesenjangan, diperlukan desain penghargaan yang lebih halus — tidak hanya sebatas satu penalti untuk penyimpangan dari standar — dan sumber daya dialektal yang lebih berkualitas untuk pelatihan.
Kesimpulan dan prospek
Karya DiaLLM berharga karena memberikan gambaran sistematis tentang bagaimana berbagai tahap pelatihan memengaruhi generasi dialektal. Bagi para praktisi, ini berarti: jika Anda ingin asisten berkomunikasi dalam bahasa Inggris Australia atau India, pra-pelatihan lanjutan saja tidak cukup. Diperlukan penyelarasan yang dirancang dengan matang, dan hasilnya harus diverifikasi tidak hanya dengan benchmark otomatis, tetapi juga dengan melibatkan penutur asli dialek.
Kabar baiknya: para penulis berencana untuk memublikasikan kode, checkpoint, dan kumpulan data dengan preferensi manusia. Ini akan memungkinkan tim lain untuk melanjutkan eksperimen dan mencoba metode pembelajaran penguatan yang lebih kompleks.
Sementara itu, kesimpulan utamanya terdengar hampir paradoksal: model bahasa besar menjadi semakin baik dalam memahami dialek, tetapi kemampuan mereka untuk berbicara dalam dialek tersebut tetap menjadi masalah yang belum terpecahkan, yang tidak dapat ditutup hanya dengan meningkatkan volume data pelatihan.
