TeachBack: penyetelan preferensi dua arah mengajarkan model mentor untuk mengeksplorasi tugas, bukan mengulang jawaban acuan
Metode TeachBack diperkenalkan; dalam proses distilasi mandiri pada kebijakannya sendiri, metode ini mengembangkan strategi pemecahan ulang masalah pada model guru, alih-alih mengandalkan solusi acuan yang istimewa. Pada tugas penalaran matematis dan logis, metode ini menunjukkan peningkatan kualitas model siswa yang konsisten dibandingkan skema OPSD yang telah dikenal.
Mengapa Teacher yang akurat tidak menjamin supervisi yang bermanfaat
On-policy self-distillation (OPSD) memungkinkan model bahasa belajar dari Teacher. Teacher pada dasarnya adalah model yang sama. Namun, Teacher memiliki akses ke informasi istimewa. Contoh informasi tersebut adalah solusi acuan. Akses ini memungkinkan Teacher menghasilkan trajektori dengan akurasi tinggi.
Namun, akurasi trajektori tidak menjamin bahwa trajektori tersebut cocok untuk Student. Akses ke solusi lengkap dapat menghasilkan penalaran yang disingkat. Solusi acuan menjadi penyebabnya. Penalaran seperti ini tidak mencakup eksplorasi, verifikasi, dan koreksi mandiri. Elemen-elemen ini diperlukan untuk menyelesaikan tugas tanpa informasi istimewa.
Ciri-ciri trajektori yang cocok untuk melatih Student:
- mencakup eksplorasi tugas;
- mencakup verifikasi langkah-langkah antara;
- menunjukkan koreksi mandiri;
- tidak meniru penalaran yang disingkat berdasarkan solusi acuan.
Kriteria praktis: nilai supervisi berdasarkan struktur penalaran, bukan hanya kebenaran jawaban.
Bagaimana TeachBack mengubah perilaku Teacher
TeachBack adalah kerangka kerja pembelajaran preferensi dua arah untuk OPSD. Kerangka kerja ini melatih Student dengan Teacher. Kerangka kerja ini juga membentuk cara Teacher mengajar.
Kerangka kerja ini mengatur perilaku Teacher dengan dua cara:
- mengatur panjang sufiks penalaran berdasarkan solusi acuan dalam prompt;
- mengubah gaya prompt.
Dengan akurasi yang sebanding, Teacher mulai mengeksplorasi tugas dan menyelesaikannya kembali. Teacher tidak terlalu bergantung pada solusi acuan.
Kriteria praktis: periksa apakah Teacher meniru proses pencarian dan verifikasi. Penalaran yang disingkat berdasarkan solusi acuan tidak cocok untuk melatih Student tanpa informasi istimewa.
Mekanisme preferensi dua arah
Pada setiap pembaruan rollout, kebijakan bersama menghasilkan dua trajektori. Trajektori pertama adalah trajektori Teacher dengan informasi istimewa. Trajektori kedua adalah trajektori Student yang hanya memiliki akses ke pernyataan tugas.
Fungsi preferensi berpasangan menggunakan trajektori Teacher dengan informasi istimewa untuk meningkatkan pelatihan Student. Preferensi terbalik menggunakan perilaku Student. Preferensi ini membentuk supervisi Teacher di masa mendatang dalam kondisi dengan informasi istimewa.
| Arah | Dasar preferensi | Hal yang ditingkatkan |
|---|---|---|
| Preferensi langsung | Trajektori Teacher dengan informasi istimewa | Pelatihan Student |
| Preferensi terbalik | Perilaku Student | Supervisi Teacher di masa mendatang dalam kondisi dengan informasi istimewa |
Kriteria praktis: adanya preferensi terbalik yang menggunakan perilaku Student.
Apa yang ditunjukkan oleh eksperimen
Eksperimen menguji TeachBack pada tugas penalaran. Hasilnya:
- tugas — penalaran matematis dan logis;
- dasar perbandingan — metode OPSD yang ada dan metode dasar terkait;
- efek — peningkatan hasil Student yang stabil.
Kriteria pemilihan praktis: tugas penalaran yang dapat diselesaikan Student tanpa solusi acuan.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Pengujian agen pemrograman dalam pengembangan XR interaktif: hasil GenXR-Bench
GenXR-Bench telah dirilis—seperangkat 112 tugas ahli untuk mengevaluasi agen coding secara menyeluruh dalam pengembangan XR interaktif: mulai dari menyempurnakan fitur dan memperbaiki bug hingga membuat aplikasi dengan pengujian perilaku pada perangkat konsumen. Dari sepuluh model yang diuji, hasil terbaik adalah 50,9% Pass@1; kegagalan yang berulang meliputi penanganan peristiwa sensor asinkron, penempatan objek di ruang nyata, dan pemahaman interaksi dalam konteks fisik.
5 November 2026
Dari Imbalan Skalar ke Front Pareto: Sintesis RTL LLM dengan Pembelajaran Penguatan Multikriteria
Diusulkan metode untuk melatih model bahasa agar menghasilkan bukan hanya satu skema, melainkan serangkaian kandidat RTL dengan kompromi berbeda antara luas area, latensi, dan konsumsi daya; reward dihitung berdasarkan kontribusi kandidat terhadap hypervolume front Pareto. Pada RTLLM v2, hypervolume relatif meningkat 13,3 poin persentase dibandingkan versi dasar tanpa optimasi PPA dan 14,4 poin persentase dibandingkan pelatihan penguatan dengan satu tujuan.
5 November 2026
LLM Medis Mengetahui Revisi Pedoman, tetapi Sering Menjawab Berdasarkan Pedoman Lama
Studi ChronoEvo terhadap 1709 perubahan rekomendasi klinis menunjukkan: pada model utama, 90,8% jawaban mencatat pembaruan, tetapi hanya 58,5% yang menerapkannya sepenuhnya, sementara kesenjangan sebesar 32,3 poin persentase tetap terlihat pada 14 model. Bahkan peningkatan visibilitas pembaruan tidak menghasilkan peningkatan signifikan dalam penerapan penuh aturan baru ke dalam rekomendasi klinis.
4 November 2026