MathAdv: Apa yang Tersembunyi di Balik Akurasi Akhir Pembuktian Mesin
Kumpulan tugas diagnostik dari 13 bidang matematika tingkat universitas dan pascasarjana ini mengevaluasi sistem pembuktian otomatis di Lean 4 tidak hanya berdasarkan hasil akhir, tetapi juga penguasaan materi, kualitas penalaran informal, dan ketahanan terhadap perumusan ulang soal. Analisis per komponen menunjukkan bahwa menerjemahkan soal ke dalam bentuk formal masih menjadi kendala utama, sementara tingkat keberhasilan sangat bergantung pada bidang matematika dan cara soal dirumuskan.

Apa yang sebenarnya diukur oleh benchmark
MathAdv adalah benchmark diagnostik untuk mengevaluasi sistem pembuktian teorema. Benchmark ini mencakup 13 bidang matematika tingkat sarjana dan pascasarjana. Benchmark ini menguji pembuktian teorema dalam Lean 4 dan hingga tiga tugas tambahan.
| Komponen | Apa yang diuji |
|---|---|
| Pembuktian teorema dalam Lean 4 | Kemampuan sistem untuk menyusun bukti formal |
| Soal pilihan ganda | Pengetahuan matematika |
| Tugas mengisi bagian yang kosong | Penalaran informal |
| Perumusan ulang oleh pakar | Ketahanan terhadap cara penyajian soal |
Akurasi keseluruhan dalam pembuktian teorema tidak menunjukkan pada tahap mana sistem kehilangan hasil. Penilaian per komponen memisahkan pengetahuan, penalaran informal, formalisasi, dan ketahanan. Kriteria praktis: lihat hasil per komponen, bukan hanya angka akhirnya.
Hal-hal tentang kondisi soal yang tidak ditunjukkan oleh akurasi keseluruhan
Akurasi keseluruhan menyembunyikan respons sistem terhadap petunjuk dan perumusan ulang. Satu indikator tidak membedakan kondisi-kondisi ini. Tabel menunjukkan efek yang hilang dalam angka keseluruhan.
| Kondisi | Pengamatan | Hal yang perlu diperiksa |
|---|---|---|
| Petunjuk dalam bahasa alami | Membantu model bahasa besar serbaguna, tetapi dapat menghambat model khusus | Hasil dengan dan tanpa petunjuk |
| Perumusan ulang yang ekuivalen | Mengungkap keterbatasan ketahanan yang signifikan | Hasil pada perumusan ulang |
Petunjuk dalam bahasa alami membantu model bahasa besar serbaguna. Petunjuk yang sama dapat menghambat model yang dikhususkan untuk pembuktian. Perumusan ulang yang ekuivalen secara matematis mengungkap keterbatasan ketahanan yang signifikan.

Akurasi keseluruhan tidak memisahkan efek-efek ini dari hasil pembuktian secara umum. Satu indikator tidak menunjukkan di mana petunjuk membantu dan di mana petunjuk menghambat. Kriteria praktis: evaluasi sensitivitas terhadap petunjuk dan ketahanan terhadap perumusan ulang secara terpisah.
Formalisasi dan perbedaan antarbidang matematika
Formalisasi masih menjadi hambatan serius. Hasil sistem sangat bervariasi di berbagai bidang matematika. Benchmark ini mencakup bidang matematika tingkat sarjana dan pascasarjana. Pengujian dalam Lean 4 memisahkan pembuktian formal dari tugas tambahan.
| Pengamatan | Artinya bagi evaluasi |
|---|---|
| Formalisasi merupakan hambatan | Akurasi keseluruhan dapat dibatasi oleh penerjemahan soal ke dalam lingkungan formal |
| Perbedaan antarbidang | Hasil keseluruhan menyembunyikan perbedaan antarbidang |
Kriteria praktis: bandingkan sistem berdasarkan bidang matematika dan tahap formalisasi. Satu indikator umum tidak menunjukkan di mana tepatnya sistem kehilangan bukti.
Cara menggunakan benchmark saat memilih sistem
Penilaian per komponen mengungkap kemampuan model dan penyebab kegagalannya. Dataset dan skrip evaluasi tersedia melalui tautan pada halaman artikel. Versi pertama artikel diajukan pada 26 Agu 2026; versi terakhir yang tercantum adalah v3 tertanggal 19 Okt 2026.
Kriteria pemeriksaan:
- perincian hasil berdasarkan bidang matematika;
- hasil formalisasi dalam Lean 4 secara terpisah;
- perbandingan kinerja dengan dan tanpa petunjuk dalam bahasa alami;
- pengujian pada perumusan ulang yang ekuivalen secara matematis;
- versi dan tanggal artikel yang menjelaskan evaluasi.
Kumpulan kriteria ini menunjukkan hal-hal yang disembunyikan oleh akurasi keseluruhan. Kriteria praktis dalam memilih: bandingkan profil komponen, bukan hanya akurasi keseluruhan.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM
Karya ini mengulas asimetri biaya dalam pencarian bug oleh agen: menghasilkan kandidat itu murah, sedangkan mengonfirmasinya melalui analisis keterjangkauan, eksekusi, dan PoC membutuhkan sebagian besar anggaran, sehingga verifikasi dapat dijadikan sasaran pertahanan tersendiri. RedHerring yang diusulkan—umpan yang disesuaikan dengan repositori dan dilengkapi sertifikat tertutup—mengurangi jumlah kerentanan nyata yang ditemukan sebesar 38,7–60,4% dengan biaya yang sama di 33 proyek OSS-Fuzz; bahkan setelah agen diperingatkan, penurunannya tetap mencapai 37,2%.
9 November 2026
Pemeriksaan halusinasi LLM melalui tampilan sumber SQL tanpa fine-tuning
Penelitian ini menguji apakah LLM dapat memanfaatkan keterampilan simbolik dasar—menyusun basis data SQL dari dokumen sumber—untuk melakukan grounding ke sumber tanpa supervisi dalam deteksi halusinasi. Pada RAGTruth dan DiaHalu, pipeline neuro-simbolik ini lebih akurat daripada prediksi langsung dan sebanding dengan metode mutakhir, tanpa memerlukan fine-tuning khusus domain.
9 November 2026
AffordanceWAM: affordance sebagai perantara antara prediksi adegan dan kendali manipulator
Karya ini menjelaskan model generatif yang secara bersamaan memprediksi observasi RGB masa depan, medan skalar dan peta panas affordance, serta perintah robot kontinu, dengan memanfaatkan video manusia untuk memperluas keragaman interaksi tanpa anotasi tindakan dan retargeting. Pada RoboCasa, CALVIN ABC→D, dan tugas dunia nyata, pendekatan ini memberikan peningkatan yang konsisten dibandingkan baseline yang hanya menggunakan RGB dan yang hanya menggunakan data robot.
9 November 2026