Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator
Modul bertahap ini tidak membuang taktik yang ditolak, tetapi meminta model koreksi untuk memperbaikinya hingga R kali dengan mempertimbangkan kesalahan Lean; dengan K kandidat, modul ini meningkatkan proporsi tugas yang berhasil diselesaikan. Eksperimen pada LeanDojo dan Lean Workbook menunjukkan peningkatan yang terutama berasal dari kegagalan eksekusi dangkal, dengan konsekuensi waktu pencarian yang lebih lama.

Apa yang diubah oleh perbaikan taktik terbatas
Artikel ini membahas perbaikan taktik terbatas di Lean 4. Pendekatan dasar hanya mengandalkan pengambilan sampel taktik dan membuang langkah yang gagal. Perbaikan terbatas mempertahankan langkah tersebut dan memperbaikinya berdasarkan diagnostik kompiler. Dengan demikian, pencarian tidak kehilangan arah yang telah dipilih.
| Pendekatan | Tindakan terhadap taktik yang gagal | Landasan |
|---|---|---|
| Hanya pengambilan sampel | Membuang langkah | Kandidat taktik |
| Perbaikan terbatas | Memperbaiki langkah secara langsung | Pesan kesalahan kompiler |
Kriteria praktis: perbaikan melengkapi pengambilan sampel kandidat, bukan menggantikannya.
Cara kerja langkah pencarian dengan diagnostik kompiler
Modul online terbatas beroperasi pada langkah pencarian.
- Pencarian memilih K kandidat taktik.
- Model memperbaiki taktik yang gagal paling banyak R kali.
- Metode ini meneruskan pesan kesalahan kompiler ke model perbaikan yang telah dilatih sebelumnya.
- Model memperbaiki langkah yang ditolak secara langsung, alih-alih membuangnya.

Kriteria praktis: diagnostik kompiler menjadi masukan untuk mengubah langkah secara lokal.
Anggaran K dan R
Anggaran ditentukan oleh dua parameter. K membatasi jumlah kandidat taktik pada setiap langkah. R membatasi jumlah perbaikan untuk taktik yang gagal. Evaluasi menguji K = 1, 3, 5, 8.
| Parameter | Peran | Hasil evaluasi |
|---|---|---|
| K | Jumlah kandidat taktik pada setiap langkah | Nilai 1, 3, 5, 8 diuji |
| R | Batas perbaikan untuk taktik yang gagal | Perbaikan menambah waktu, tetapi menghasilkan bukti tambahan |
Perbaikan menambah waktu eksekusi, tetapi memungkinkan ditemukannya bukti tambahan. Manfaat terbesarnya muncul saat pengambilan sampel dibatasi. Efeknya semakin berkurang: upaya perbaikan pertama menghasilkan 84–96% dari total peningkatan.
Kriteria praktis: saat pengambilan sampel dibatasi, perbaikan memberikan manfaat terbesar, sementara efek dari perbaikan tambahan semakin berkurang.
Hasil evaluasi
Metode ini meningkatkan proporsi soal yang berhasil diselesaikan pada semua K = 1, 3, 5, 8 yang diuji. Peningkatan relatif mencapai 32%. Pada subset yang terdiri dari 1 990 teorema dalam benchmark LeanDojo, 82 teorema lebih banyak berhasil diselesaikan. Pada benchmark Lean Workbook, proporsi soal yang berhasil diselesaikan hampir dua kali lipat. Tidak ada regresi.
Kriteria praktis: perbaikan meningkatkan proporsi soal yang berhasil diselesaikan pada anggaran K yang diuji; evaluasi tidak mencakup nilai di luar itu.
Di mana perbaikan membantu dan di mana tidak
Peningkatan hampir sepenuhnya berkaitan dengan kegagalan eksekusi taktik yang bersifat dangkal. Peningkatan hampir tidak berkaitan dengan kesalahan struktural, seperti ketidakcocokan tipe.
| Jenis kegagalan | Hubungan dengan peningkatan |
|---|---|
| Kegagalan eksekusi taktik yang dangkal | Sumber utama peningkatan |
| Kesalahan struktural, misalnya ketidakcocokan tipe | Hampir tidak berkaitan dengan peningkatan |
Kriteria praktis: perbaikan ditujukan pada kegagalan eksekusi taktik yang dangkal, bukan pada kesalahan struktural.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Metode Genesis Steering: pengarahan aktivasi pada data yang digunakan saat fine-tuning
Metode ini menghasilkan vektor pengarah dari contoh kontras yang terdapat dalam data penyempurnaan, dan jika contoh tersebut tidak tersedia, metode ini memilih sampel pelatihan yang mungkin melalui membership inference lalu membentuk kumpulan data proksi. Bagian teoretis menguraikan pergeseran optimal menuju batas keputusan dan estimasi berdasarkan data proksi; secara empiris, data internal Tülu-3-8B memberikan efek yang lebih kuat daripada kumpulan data eksternal, sedangkan kegunaan proksi MIA pada Llama-3.1-8B-Instruct terbatas oleh rasio pergeseran arah.
16 November 2026
Pembelajaran in-context tabular dengan pakar spars: OrionMoE-Small-v1.0 yang ringkas
Model dasar yang ringkas untuk tugas tabular ini memprediksi observasi baru berdasarkan tabel acuan berlabel tanpa melatih ulang parameter. Pemilihan pakar secara adaptif dengan mempertimbangkan kumpulan data dan representasi fitur menghasilkan kinerja yang kompetitif, terutama pada konteks kecil dan dimensi tinggi.
15 November 2026
Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal
Artikel ini menjelaskan pipeline diagnostik yang pertama-tama mengidentifikasi kelompok pasien yang dapat diinterpretasikan dengan tingkat keyakinan model yang rendah, lalu memeriksa keberadaan pergeseran kovariat yang merugikan di dalam kelompok-kelompok tersebut. Dalam eksperimen pada MIMIC-IV dengan tiga tugas klinis dan tiga pergeseran subkelompok buatan, pendekatan ini membantu menemukan pergeseran terkait usia yang sulit terlihat pada evaluasi agregat.
15 November 2026