Tentang Artikel Ini
Ketika model bahasa besar memecahkan masalah logika atau matematika yang kompleks, proses generasi bukan sekadar keluaran token secara berurutan. Setiap langkah bergantung pada keadaan internal tempat model menyimpan kondisi, hasil antara, dan hubungan di antara semuanya. LLM penalaran yang kuat menggunakan ruang ini secara efisien, tetapi bahkan mereka pun terkadang mengalami kegagalan. Sering kali masalahnya bukan karena kurangnya pengetahuan, melainkan karena mekanisme kognitif yang dibutuhkan — pemeriksaan diri, merumuskan ulang masalah, kembali ke kesimpulan sebelumnya — tidak aktif tepat waktu.
Penelitian baru, yang versi pertamanya muncul di arXiv pada Mei 2026 dan versi finalnya pada Agustus, telah diterima di konferensi EMNLP 2026. Para penulis memperkenalkan kerangka kerja Latent Reward Steering (LRS). Ini adalah metode waktu inferensi yang adaptif: metode ini tidak mengubah teks perintah dan tidak menambahkan instruksi padanya, melainkan memengaruhi representasi internal model. Pada dasarnya, sistem ini belajar untuk "memperbaiki" alur penalaran pada saat ia melihat alur tersebut mulai keluar jalur.
Mengapa Petunjuk Perilaku Tidak Cukup
Cara paling umum untuk meningkatkan penalaran LLM adalah dengan secara eksplisit memintanya berperilaku dengan cara tertentu: "pecah masalah menjadi beberapa langkah", "periksa dirimu sendiri", "pikirkan dulu, baru jawab". Teknik semacam itu mengendalikan perilaku pada tingkat eksternal dan tekstual. Teknik ini mengasumsikan bahwa ada skenario universal yang sama-sama berguna untuk semua jenis kesalahan. Namun dalam praktiknya, kegagalan bisa sangat beragam: model mungkin salah memahami kondisi, kehilangan detail penting, memilih metode yang tidak tepat, atau membuat kesalahan perhitungan di langkah terakhir.
Selain itu, model yang berbeda — dan bahkan model yang sama dalam percobaan yang berbeda — membuat kesalahan dengan cara yang berbeda. Petunjuk yang ditentukan sebelumnya tidak memperhitungkan jenis tugas, keadaan penalaran saat ini, atau karakteristik khusus LLM tertentu. Dalam beberapa kasus, petunjuk tersebut membantu; dalam kasus lain, petunjuk itu tidak berguna, dan terkadang bahkan berbahaya, karena memaksa model untuk mengikuti templat secara mekanis alih-alih beradaptasi dengan alur pemikiran yang sebenarnya.
Bagaimana LRS Memperbaiki Alur Penalaran
Alih-alih memberikan rekomendasi tekstual kepada model, LRS bekerja pada tingkat keadaan tersembunyi yang dihasilkan model selama penalaran. Keadaan-keadaan ini tidak hanya membawa konten langkah-langkahnya, tetapi juga tanda-tanda halus tentang seberapa yakin model bergerak menuju jawaban. Untuk membuat tanda-tanda tersebut dapat diakses untuk pengendalian, digunakan autoencoder jarang (sparse autoencoder).
SAE menguraikan aktivasi padat model menjadi sejumlah kecil komponen yang dapat diinterpretasikan. Sebagian dari komponen ini sesuai dengan perilaku kognitif yang berguna, seperti pemeriksaan antara atau peninjauan ulang kesimpulan. Intervensi LRS justru diarahkan pada komponen-komponen inilah. Pendekatan ini memungkinkan pengaruh pada "pemikiran" model secara lebih presisi daripada yang mungkin dilakukan dengan instruksi verbal.
Melatih Model Reward Laten
Untuk membedakan keadaan internal yang berhasil dari yang gagal, para penulis melatih model reward terpisah. Model ini tidak menerima jawaban akhir sebagai masukan, melainkan keadaan laten antara, dan mengevaluasi seberapa dekat keadaan-keadaan tersebut membawa model menuju hasil yang benar. Sebagai data pelatihan, digunakan jejak penalaran lengkap yang diberi label berdasarkan kebenaran jawaban. Dengan cara ini, model reward belajar memprediksi lebih awal apakah segmen jalur saat ini akan mengarah pada keberhasilan.
Koreksi Berdasarkan Gradien Reward
Ketika LRS mendeteksi keadaan yang tampaknya tidak menjanjikan selama generasi, ia menghitung gradien sinyal reward terhadap komponen keadaan tersebut. Gradien menunjukkan arah pergeseran keadaan laten yang diperlukan untuk meningkatkan probabilitas kelanjutan yang benar. Fitur utama LRS adalah bahwa arah ini tidak ditentukan sebelumnya dan tidak diturunkan dari "aturan penalaran yang baik" yang tetap. Arah ini dihitung dengan cepat untuk setiap keadaan spesifik, sehingga metode ini menyesuaikan diri dengan model, tugas, dan kekhususan kesalahan saat ini.
Gerbang Reward dan Keyakinan
Mengintervensi di setiap langkah akan terlalu berisiko: pengaruh eksternal yang konstan dapat mengganggu generasi alami. Oleh karena itu, LRS menggunakan gerbang reward dan keyakinan. Gerbang ini hanya mengizinkan koreksi untuk keadaan yang ditandai sebagai rapuh oleh sinyal reward. Jika keadaan saat ini dinilai yakin, tidak ada intervensi yang dilakukan. Pendekatan selektif ini mengurangi efek samping dan menjaga kealamian penalaran ketika model sebenarnya sudah mampu menanganinya.
Apa yang Ditunjukkan oleh Eksperimen
Para penulis menguji LRS pada beberapa LLM penalaran yang digunakan sebagai basis dan pada serangkaian tolok ukur standar. Metode ini dibandingkan dengan berbagai pendekatan dasar, dan di sebagian besar konfigurasi, LRS memberikan peningkatan akurasi yang konsisten. Yang penting, efek positifnya bukanlah kasus yang terisolasi: efek ini dapat direproduksi saat model maupun jenis tugas diubah.
Analisis pasca-hoc terhadap hasil menunjukkan bahwa peningkatan tersebut tidak sekadar "memperpanjang" jawaban atau mengubah gaya generasi. Para peneliti menemukan bahwa LRS secara implisit mendorong perilaku kognitif yang biasanya coba dipicu oleh prompt tekstual. Model lebih sering kembali ke kesimpulan antara yang salah, menganalisis kondisi dengan lebih cermat, dan menunjukkan alur penalaran yang lebih koheren. Dengan kata lain, metode ini benar-benar bekerja melalui keadaan internal, bukan melalui templat eksternal.
Mengapa Ini Penting
LRS menarik bukan hanya karena hasil spesifiknya, tetapi juga karena perubahan prinsip dasar pengendalian penalaran. Alih-alih mencari formulasi prompt yang ideal, para peneliti mengusulkan untuk belajar "mengoreksi" model secara hati-hati dalam ruang representasinya sendiri. Pendekatan semacam itu berpotensi lebih universal: pendekatan ini tidak mengharuskan deskripsi awal semua skenario kognitif yang mungkin dan secara mandiri menemukan aspek pemikiran mana yang perlu dikoreksi pada saat tertentu.
Untuk saat ini, LRS adalah kerangka kerja penelitian, bukan produk jadi. Para penulis telah membuka kode sumbernya agar tim lain dapat mereproduksi eksperimen dan mengadaptasi metode ini untuk tugas mereka sendiri. Namun arahnya sudah jelas: pengendalian penalaran LLM secara bertahap bergeser dari tingkat kata ke tingkat mekanisme tersembunyi yang menentukan bagaimana model berpikir, bukan sekadar apa yang diucapkannya.
