Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator

16 November 20260 tampilan

Modul bertahap ini tidak membuang taktik yang ditolak, tetapi meminta model koreksi untuk memperbaikinya hingga R kali dengan mempertimbangkan kesalahan Lean; dengan K kandidat, modul ini meningkatkan proporsi tugas yang berhasil diselesaikan. Eksperimen pada LeanDojo dan Lean Workbook menunjukkan peningkatan yang terutama berasal dari kegagalan eksekusi dangkal, dengan konsekuensi waktu pencarian yang lebih lama.

Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator

Apa yang diubah oleh perbaikan taktik terbatas

Artikel ini membahas perbaikan taktik terbatas di Lean 4. Pendekatan dasar hanya mengandalkan pengambilan sampel taktik dan membuang langkah yang gagal. Perbaikan terbatas mempertahankan langkah tersebut dan memperbaikinya berdasarkan diagnostik kompiler. Dengan demikian, pencarian tidak kehilangan arah yang telah dipilih.

PendekatanTindakan terhadap taktik yang gagalLandasan
Hanya pengambilan sampelMembuang langkahKandidat taktik
Perbaikan terbatasMemperbaiki langkah secara langsungPesan kesalahan kompiler

Kriteria praktis: perbaikan melengkapi pengambilan sampel kandidat, bukan menggantikannya.

Cara kerja langkah pencarian dengan diagnostik kompiler

Modul online terbatas beroperasi pada langkah pencarian.

  • Pencarian memilih K kandidat taktik.
  • Model memperbaiki taktik yang gagal paling banyak R kali.
  • Metode ini meneruskan pesan kesalahan kompiler ke model perbaikan yang telah dilatih sebelumnya.
  • Model memperbaiki langkah yang ditolak secara langsung, alih-alih membuangnya.

Kriteria praktis: diagnostik kompiler menjadi masukan untuk mengubah langkah secara lokal.

Anggaran K dan R

Anggaran ditentukan oleh dua parameter. K membatasi jumlah kandidat taktik pada setiap langkah. R membatasi jumlah perbaikan untuk taktik yang gagal. Evaluasi menguji K = 1, 3, 5, 8.

ParameterPeranHasil evaluasi
KJumlah kandidat taktik pada setiap langkahNilai 1, 3, 5, 8 diuji
RBatas perbaikan untuk taktik yang gagalPerbaikan menambah waktu, tetapi menghasilkan bukti tambahan

Perbaikan menambah waktu eksekusi, tetapi memungkinkan ditemukannya bukti tambahan. Manfaat terbesarnya muncul saat pengambilan sampel dibatasi. Efeknya semakin berkurang: upaya perbaikan pertama menghasilkan 84–96% dari total peningkatan.

Kriteria praktis: saat pengambilan sampel dibatasi, perbaikan memberikan manfaat terbesar, sementara efek dari perbaikan tambahan semakin berkurang.

Hasil evaluasi

Metode ini meningkatkan proporsi soal yang berhasil diselesaikan pada semua K = 1, 3, 5, 8 yang diuji. Peningkatan relatif mencapai 32%. Pada subset yang terdiri dari 1 990 teorema dalam benchmark LeanDojo, 82 teorema lebih banyak berhasil diselesaikan. Pada benchmark Lean Workbook, proporsi soal yang berhasil diselesaikan hampir dua kali lipat. Tidak ada regresi.

Kriteria praktis: perbaikan meningkatkan proporsi soal yang berhasil diselesaikan pada anggaran K yang diuji; evaluasi tidak mencakup nilai di luar itu.

Di mana perbaikan membantu dan di mana tidak

Peningkatan hampir sepenuhnya berkaitan dengan kegagalan eksekusi taktik yang bersifat dangkal. Peningkatan hampir tidak berkaitan dengan kesalahan struktural, seperti ketidakcocokan tipe.

Jenis kegagalanHubungan dengan peningkatan
Kegagalan eksekusi taktik yang dangkalSumber utama peningkatan
Kesalahan struktural, misalnya ketidakcocokan tipeHampir tidak berkaitan dengan peningkatan

Kriteria praktis: perbaikan ditujukan pada kegagalan eksekusi taktik yang dangkal, bukan pada kesalahan struktural.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Metode Genesis Steering: pengarahan aktivasi pada data yang digunakan saat fine-tuning
Berita

Metode Genesis Steering: pengarahan aktivasi pada data yang digunakan saat fine-tuning

Metode ini menghasilkan vektor pengarah dari contoh kontras yang terdapat dalam data penyempurnaan, dan jika contoh tersebut tidak tersedia, metode ini memilih sampel pelatihan yang mungkin melalui membership inference lalu membentuk kumpulan data proksi. Bagian teoretis menguraikan pergeseran optimal menuju batas keputusan dan estimasi berdasarkan data proksi; secara empiris, data internal Tülu-3-8B memberikan efek yang lebih kuat daripada kumpulan data eksternal, sedangkan kegunaan proksi MIA pada Llama-3.1-8B-Instruct terbatas oleh rasio pergeseran arah.

16 November 2026
Pembelajaran in-context tabular dengan pakar spars: OrionMoE-Small-v1.0 yang ringkas
Berita

Pembelajaran in-context tabular dengan pakar spars: OrionMoE-Small-v1.0 yang ringkas

Model dasar yang ringkas untuk tugas tabular ini memprediksi observasi baru berdasarkan tabel acuan berlabel tanpa melatih ulang parameter. Pemilihan pakar secara adaptif dengan mempertimbangkan kumpulan data dan representasi fitur menghasilkan kinerja yang kompetitif, terutama pada konteks kecil dan dimensi tinggi.

15 November 2026
Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal
Berita

Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal

Artikel ini menjelaskan pipeline diagnostik yang pertama-tama mengidentifikasi kelompok pasien yang dapat diinterpretasikan dengan tingkat keyakinan model yang rendah, lalu memeriksa keberadaan pergeseran kovariat yang merugikan di dalam kelompok-kelompok tersebut. Dalam eksperimen pada MIMIC-IV dengan tiga tugas klinis dan tiga pergeseran subkelompok buatan, pendekatan ini membantu menemukan pergeseran terkait usia yang sulit terlihat pada evaluasi agregat.

15 November 2026
Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator