Masalah: Model bahasa terjebak dalam pengulangan
Model bahasa autoregresif menghasilkan teks satu token pada satu waktu, dengan mengandalkan kata-kata yang sudah ditulis. Proses ini hampir tidak dapat dihindari menyebabkan pengulangan degeneratif: model mulai mereproduksi frasa atau rangkaian kalimat yang sama tanpa henti. Ini sering terjadi terutama pada teks pendek, penalaran matematis, atau rantai logika, di mana model "terjebak" dalam putaran lokal.
Metode standar untuk mengatasinya — penalti frekuensi dan penalti pengulangan — hanya berfungsi sebagian. Keduanya mengoreksi distribusi probabilitas pada tahap decoding, tetapi tidak memperhitungkan struktur pola pengulangan. Akibatnya, bahkan pada sistem modern, frekuensi kegagalan yang jatuh ke dalam pengulangan melingkar mencapai beberapa persen — ini sulit terlihat pada jawaban pendek, tetapi kritis untuk penalaran yang panjang.
Menghukum frekuensi saja tidak cukup: diperlukan teori informasi
Penalti frekuensi mengurangi probabilitas token yang sudah muncul dalam teks, sedangkan penalti pengulangan juga menurunkan bobot urutan yang sudah dihasilkan. Namun kedua pendekatan ini menggunakan heuristik yang tidak ada hubungannya dengan cara model memahami struktur teks. Keduanya dapat menekan pengulangan yang berguna (misalnya, mengulang kesimpulan penting) dan pada saat yang sama melewatkan pola melingkar panjang yang terdiri dari kata-kata yang berbeda.
Pandangan yang lebih mendasar ditawarkan oleh teori kompresi data. Jika sebuah urutan dapat dikompresi dengan baik oleh algoritma seperti LZ77, itu berarti urutan tersebut mengandung sedikit informasi baru — dan, dari sudut pandang prediksi, bersifat "dapat diprediksi" dan berbahaya untuk generasi. Masuk akal untuk menghukum model karena memilih pola semacam itu, bukan sekadar karena mengulang kata-kata individual.
Apa itu LZ77 dan bagaimana penalti berbasis LZ77 dibangun
LZ77 adalah salah satu algoritma kompresi tanpa kehilangan klasik. Algoritma ini mengganti fragmen yang berulang dengan referensi ke kemunculan sebelumnya: alih-alih menulis seluruh string, algoritma menyimpan offset dan panjang. Hasilnya, setiap bagian teks mendapatkan "panjang kode" — jumlah bit minimum yang diperlukan untuk merepresentasikannya. Semakin dapat diprediksi sebuah fragmen, semakin pendek kodenya.
Para penulis LZ penalty mengusulkan untuk menggunakan panjang ini sebagai ukuran redundansi langsung selama decoding. Pada langkah berikutnya, model menghitung probabilitas semua kemungkinan kelanjutan, dan masing-masing kelanjutan juga dievaluasi dari sudut pandang seberapa besar ia meningkatkan kompresibilitas seluruh urutan yang dihasilkan. Kelanjutan yang mengarah ke struktur berulang yang panjang menerima penalti yang lebih besar.
Menariknya, pendekatan ini secara alami muncul dari dualitas prediksi dan kompresi: kompresor yang baik sekaligus prediktor yang baik, dan sebaliknya. Decoding dengan LZ penalty dapat diinterpretasikan sebagai pengambilan sampel dari distribusi residual yang telah menghilangkan informasi yang berhasil diprediksi oleh kompresor. Dengan kata lain, model dipaksa untuk menghasilkan kelanjutan yang bukan yang paling "mudah" baginya, melainkan yang benar-benar mengandung informasi baru.
Implementasi praktis: penalti ditambahkan sebelum pemilihan token
Pada tingkat kode, LZ penalty mudah diintegrasikan ke dalam proses greedy decoding. Setelah setiap langkah, hipotesis kelanjutan saat ini dikompresi dengan encoder mirip LZ77, dan perbedaan panjang kode diperhitungkan dalam log probabilitas. Penting bahwa penalti ini tidak memerlukan pelatihan atau fine-tuning model — ia bekerja pada tahap inferensi.
Ini membuat metode ini universal: dapat diterapkan ke model autoregresif mana pun tanpa mengubah arsitektur atau menyentuh bobot.
Hasil: tidak ada pengulangan degeneratif pada suhu nol
Hasil utama yang diklaim para penulis adalah LZ penalty memungkinkan model open-source modern untuk bernalar dengan greedy decoding (suhu nol) tanpa kehilangan kemampuan. Biasanya pada suhu nol, model selalu memilih token yang paling mungkin, yang membuat pengulangan melingkar sangat mungkin terjadi. Inilah sebabnya mengapa dalam praktiknya sering digunakan random sampling dengan suhu di atas nol dan penalti — tetapi ini membawa keacakan yang tidak perlu ke dalam generasi dan dapat menurunkan kualitas.
Dengan LZ penalty, kebutuhan akan trik semacam itu hilang. Greedy decoding tidak lagi menjadi sumber pengulangan degeneratif, dan model tetap fokus pada penyelesaian tugas. Pada saat yang sama, kemampuan model untuk penalaran logis, matematika, dan pengodean tidak memburuk — penalti hanya bekerja melawan redundansi, tanpa menyentuh bagian semantik dari generasi.
Sebagai perbandingan: dalam eksperimen, model yang sama dengan penalti frekuensi dan penalti pengulangan dalam sejumlah kasus menunjukkan hingga 4% kegagalan yang jatuh ke dalam pengulangan melingkar. Ini mungkin tampak seperti angka kecil, tetapi untuk jawaban panjang atau rantai penalaran, setiap kegagalan semacam itu sepenuhnya merusak hasil.
Mengapa LZ penalty bekerja lebih baik daripada heuristik
Perbedaan utama dari penalti frekuensi atau pengulangan adalah kemampuan untuk merespons struktur, bukan token individual. Heuristik biasanya menghukum semua pengulangan secara sama, tanpa memperhatikan panjang pola. LZ penalty sensitif terhadap panjang urutan yang berulang: semakin panjang dan tepat pengulangannya, semakin besar penaltinya. Sementara pengulangan pendek yang tidak membentuk pola dihukum ringan atau tidak dihukum sama sekali.
Ini penting untuk bahasa alami. Model mungkin dengan sah mengulang kata "oleh karena itu" di berbagai bagian penalaran, dan ini tidak boleh diblokir. Tetapi jika model mulai menghasilkan rantai argumen yang sama berulang kali, LZ penalty akan mendeteksi penurunan panjang kode dan menghentikan prosesnya.
Hasilnya, LZ penalty menghilangkan dilema antara kualitas dan keamanan teks: tidak perlu memilih antara "masuk akal tetapi melingkar" dan "beragam tetapi tidak koheren".
Kesimpulan praktis
Bagi pengembang dan peneliti, LZ penalty adalah alat siap pakai yang tidak memerlukan perubahan model. Cukup menambahkannya ke pipeline inferensi untuk mendapatkan generasi yang stabil tanpa pengulangan degeneratif. Ini sangat relevan untuk model penalaran open-source yang digunakan dalam skenario dengan jawaban panjang dan tuntutan tinggi akan determinisme.
Pertanyaan tentang efisiensi tetap terbuka: kompresi pada setiap langkah memerlukan komputasi tambahan. Para penulis tidak membahas kompleksitas dalam karya yang disajikan, tetapi dapat diharapkan bahwa di masa depan akan muncul versi yang dioptimalkan yang bekerja di GPU dan terintegrasi ke dalam pustaka decoding populer.
Keterbatasan dan catatan
Artikel ini mencatat koreksi kecil pasca-publikasi terkait ketidakakuratan dalam perhitungan — ini menunjukkan perhatian para penulis terhadap detail dan tidak memengaruhi inti pendekatan yang diusulkan. Seperti metode apa pun, LZ penalty bukanlah peluru perak: ia memecahkan masalah pengulangan yang spesifik, tetapi tidak menyentuh, misalnya, akurasi faktual atau koherensi logis dari generasi.
Meskipun demikian, gagasan menggunakan panjang kode kompresi sebagai ukuran informativitas kelanjutan tampak elegan dan menjanjikan. Ia menghubungkan teori informasi dengan praktik generasi teks dan memberikan apa yang tidak dapat diberikan oleh heuristik sederhana: pemahaman tentang kapan pengulangan adalah noise, dan kapan itu adalah sinyal degradasi model.
