Mengapa Terlalu Mengandalkan Jejak Routing Berbahaya
Dalam model dengan arsitektur campuran ahli (MoE), setiap token melewati subset kecil dari "para spesialis". Setelah diproses, yang tersisa hanyalah jejak formal—ahli mana yang dipanggil dan dengan bobot apa. Jejak seperti ini memang mudah digunakan sebagai penjelasan, tetapi ia mirip dengan catatan panggilan telepon tanpa isi percakapan: terlihat siapa menelepon siapa, tetapi tidak terlihat apa yang mereka sepakati.
Sebuah pracetak terbaru (Chen dkk., arXiv:2608.17638) menunjukkan bahwa interpretasi berbasis jejak kehilangan lapisan informasi yang penting. Para penulis mengusulkan untuk membaca tidak hanya rute yang terlihat, tetapi juga keadaan internal penalaran model. Ide utamanya adalah pembacaan dua tingkat: pertama ruang semantik yang ringkas, kemudian proksi murah yang dipulihkan dari statistik routing biasa.
Pembaca Keadaan Dua Tingkat
J64: 64 sumbu, bukan kamus lengkap
Tingkat pertama dibangun dari ruang J, yang ukurannya sebanding dengan kosakata model. Ruang ini disuling menjadi kerangka semantik ringkas J64—hanya 64 sumbu. Hasilnya bukan proyeksi tematik yang sembarangan, melainkan serangkaian invarian yang dilatih pada keadaan penalaran model itu sendiri.
Manfaat utama J64 adalah ia melihat keadaan yang tidak ada dalam jejak yang terlihat. Dua jejak routing yang identik dapat menyembunyikan proses internal yang berbeda, dan J64 membantu membedakannya. Selain itu, ia memisahkan dua beban yang berbeda: seberapa banyak upaya yang model investasikan dalam penalaran dan seberapa sulit contoh tersebut bagi model.
Pengujian pada data yang ditahan menunjukkan bahwa peningkatan area di bawah kurva ROC adalah 0,096–0,135 dibandingkan dengan pendekatan dasar yang membaca roll-out yang sama sebagai kepadatan token dan menggunakan agregasi yang sama. Artinya, peningkatan justru berasal dari cara pembacaan keadaan, bukan dari perubahan model itu sendiri atau format data.
R64: Gambaran yang sama dari statistik murah
J64 memiliki kekurangan praktis: ia memerlukan akses ke representasi internal model. Untuk membuat pendekatan ini dapat diterapkan di produksi, para penulis merekonstruksi J64 dari statistik asli routing ahli. Proksi ini disebut R64 dan tidak menimbulkan biaya tambahan yang signifikan selama inferensi.
Korelasi median per-sumbu antara R64 dan J64 pada tiga model dan dua keluarga arsitektur mencapai 0,69–0,86. Pada model gpt-oss-20b, R64 mempertahankan 95–100% dari keuntungan prediktif J64 asli. Dengan kata lain, untuk banyak tugas tidak perlu menghitung ruang semantik penuh: cukup mengambil statistik dari mekanisme routing yang sudah ada.
Dua Resolusi Temporal untuk Keputusan Waktu-Uji
Pembacaan keadaan tidak hanya berfungsi sebagai penjelasan pasca-faktum, tetapi juga sebagai alat pengambilan keputusan. Para penulis mempertimbangkan dua skenario: analisis kandidat yang telah selesai dan pengelolaan generasi secara real-time.
Memilih dari opsi yang sudah jadi
Ketika model telah menghasilkan beberapa opsi jawaban, J64 dan R64 meningkatkan pemilihan satu cabang di antara kandidat. Pemungutan suara berbobot diuji secara terpisah: jika alih-alih mayoritas sederhana, bobot dari R64 digunakan, hasilnya lebih baik daripada pemungutan suara mayoritas biasa dalam tujuh dari delapan pengaturan. Ini berarti keadaan tersembunyi dapat digunakan sebagai sinyal yang lebih akurat untuk agregasi jawaban.
Berhenti dan pengambilan sampel ulang selama generasi
Skenario kedua adalah generasi di mana keputusan perlu diambil saat token muncul. Jendela geser pembacaan dimasukkan ke dalam kebijakan kumulatif "berhenti dan sampel ulang": pada titik tertentu, model menghentikan cabang saat ini dan mulai menghasilkan dari awal. Titik kerja kebijakan ini hanya ditetapkan pada pertanyaan pelatihan, sehingga pada pengujian metode ini tidak menyesuaikan diri dengan jawaban yang diketahui.
J64 memberikan peningkatan akurasi sebesar 1,1–5,9 poin relatif terhadap eksperimen kontrol yang menggunakan saudara kandung yang diacak. R64, yang dibangun hanya pada routing, mempertahankan 0,9–3,2 poin dari keuntungan ini. Bahkan proksi murah pun cukup berguna untuk mengelola generasi.
Bisakah Penalaran Diubah Melalui Router
Bagian terakhir dari pekerjaan ini melampaui interpretasi pasif. Para peneliti mengedit router untuk memengaruhi mekanisme yang sesuai dengan J64. Setelah itu, perilaku model berubah dengan cara yang dapat diprediksi—dengan cara yang mengikuti interpretasi J64. "Kebuntuan" model yang dapat didiagnosis bergeser dari tebakan numerik ke eksekusi simbolik yang tepat.
Ini adalah sinyal penting: sumbu J64 tidak hanya menangkap korelasi, tetapi juga peran kausal dalam penalaran. Jika pengeditan router memberikan perubahan yang diharapkan, itu berarti keadaan yang dibaca benar-benar berpartisipasi dalam pengambilan keputusan, bukan sekadar artefak sampingan.
Jejak MoE tetap menjadi antarmuka yang nyaman, tetapi terlalu kasar untuk model. Pembacaan dua tingkat—pertama proyeksi semantik yang hemat, kemudian proksi berbasis routing—memungkinkan kita melihat apa yang terjadi sebelum dan di luar panggilan ahli yang terlihat. "Dasbor" internal semacam ini dapat menjadi alat standar berikutnya untuk men-debug dan mengelola model besar.
