LLM multimodal multiagen dalam matematika: cara memeriksa langkah penyelesaian dan ketahanan terhadap gangguan

18 November 20260 tampilan

MAMath-Bench diperkenalkan sebagai kumpulan 1003 soal dari 11 bidang matematika dengan materi teks, gambar, dan audio; selain jawaban akhir, benchmark ini mencatat langkah-langkah pemeriksaan dan respons sistem terhadap perubahan adversarial dalam alur penalaran. Hasilnya menunjukkan bahwa kolaborasi beberapa LLM tidak selalu meningkatkan akurasi, dapat memperkuat penalaran yang berlebihan, dan gangguan struktural yang halus tetap menjadi sumber kerentanan yang serius.

LLM multimodal multiagen dalam matematika: cara memeriksa langkah penyelesaian dan ketahanan terhadap gangguan

Apa yang dinilai oleh benchmark

MAMath-Bench adalah benchmark untuk mengevaluasi penalaran matematika multimodal pada sistem multiagen. Benchmark ini mencakup 1 003 soal dari 11 kategori matematika. Soal-soalnya mencakup beberapa tingkat kesulitan dan tiga modalitas: teks, gambar, dan audio.

Benchmark ini berisi anotasi terperinci tentang titik pemeriksaan. Penilaian dilakukan dalam tiga dimensi:

  • ketepatan penyelesaian soal;
  • keandalan proses penalaran;
  • ketahanan terhadap gangguan adversarial pada rantai penalaran.

Kriteria praktis: pilih penilaian yang membedakan ketepatan jawaban, keandalan proses, dan ketahanan terhadap gangguan. Jawaban akhir saja tidak cukup untuk pemeriksaan semacam ini.

Pemeriksaan alur penyelesaian

Anotasi titik pemeriksaan menjadi acuan untuk memeriksa langkah-langkah perantara. Penilaian keandalan proses penalaran dipisahkan dari ketepatan jawaban akhir. Dengan demikian, sistem dapat dibandingkan berdasarkan hal lain, tidak hanya hasilnya.

Hal yang perlu diperiksa dalam alur penyelesaian:

  • keberadaan titik pemeriksaan yang ditandai dalam anotasi;
  • kesesuaian langkah-langkah perantara dengan titik pemeriksaan tersebut;
  • keandalan proses penalaran sebagai dimensi tersendiri.

Kriteria pemeriksaan: catat bagian spesifik saat penyelesaian menyimpang dari titik pemeriksaan. Jawaban akhir saja tidak menunjukkan kualitas alur penyelesaian.

Multiagen: ketepatan, cakupan, dan redundansi

Penilaian ini menunjukkan tiga dampak berbeda dari kolaborasi beberapa agen. Ketepatan jawaban akhir tidak selalu meningkat dibandingkan LLM tunggal yang kuat. Cakupan penalaran perantara dapat meningkat secara signifikan. Peningkatan cakupan dapat disertai peningkatan redundansi penalaran.

Hal yang dibandingkanHal yang ditunjukkan penilaianKesimpulan praktis
Ketepatan jawaban akhirKolaborasi beberapa agen tidak selalu meningkatkan ketepatan dibandingkan LLM tunggal yang kuatJangan menganggap skema multiagen menjamin jawaban yang benar
Cakupan penalaran perantaraKolaborasi dapat meningkatkan cakupan secara signifikanBandingkan peningkatan cakupan dengan dimensi lainnya
Redundansi penalaranPeningkatan cakupan dapat disertai peningkatan redundansiPertimbangkan peningkatan redundansi saat mengevaluasi cakupan

Kriteria pemilihan: jangan menganggap skema multiagen menjamin ketepatan. Bandingkan skema tersebut dengan LLM tunggal yang kuat dalam hal jawaban akhir, cakupan, dan redundansi.

Ketahanan terhadap distorsi adversarial

Penilaian ini mencakup ketahanan terhadap gangguan adversarial pada rantai penalaran. Sistem modern masih rentan terhadap kesalahan penalaran adversarial, terutama yang terkait dengan gangguan struktural yang halus.

Hal yang perlu diperiksa:

  • respons sistem terhadap gangguan adversarial pada rantai penalaran;
  • kesalahan penalaran akibat gangguan struktural yang halus;
  • terjaganya keandalan proses, bukan hanya jawaban akhir.

Kriteria ketahanan: uji sistem dengan gangguan adversarial pada rantai penalaran. Ketahanan terhadap gangguan tersebut termasuk dalam penilaian, bersama dengan ketepatan jawaban.

Pertanyaan yang sering ditanyakan

LLM multimodal multiagen dalam matematika: cara memeriksa langkah penyelesaian dan ketahanan terhadap gangguan