Jawaban yang benar — belum tentu gambar teknik
Model bahasa besar modern dengan percaya diri menyelesaikan soal-soal matematika olimpiade. Dalam geometri, hal ini sangat terlihat: model memberikan jawaban numerik, dan tampaknya model memahami kondisinya. Namun, ada perbedaan besar antara kemampuan memecahkan soal dan kemampuan menggambar diagram yang benar. Jawaban dapat diperoleh melalui transformasi aljabar, sedangkan gambar teknik memerlukan pertimbangan posisi relatif titik, garis, dan konstruksi tambahan. Misalnya, GPT dan Claude menunjukkan hasil tinggi dalam tes matematika standar, tetapi hingga saat ini belum ada tes yang secara khusus menguji kemampuan mereka dalam membuat gambar teknik.
Para penulis karya baru (pratinjau arXiv:2608.18111, dipresentasikan di lokakarya AI4MATH dalam kerangka ICML 2026) mencatat bahwa tolok ukur yang ada, termasuk MathVista dan MathVerse yang populer, terutama mengevaluasi jawaban akhir. Menurut mereka, tidak satu pun dari tolok ukur tersebut yang mengisolasi konstruksi diagram sebagai keterampilan mandiri. Inilah yang menjadi titik awal untuk kumpulan data baru.
Apa yang ada di dalam tolok ukur
Para peneliti mengumpulkan kumpulan terbuka berisi 954 soal geometri olimpiade. Setiap soal sepenuhnya mandiri: kondisinya tidak memerlukan referensi eksternal dan memungkinkan interpretasi yang tidak ambigu. Selain itu, dalam kumpulan ini terdapat subset sulit yang terdiri dari 297 soal, yang memerlukan pengerjaan gambar teknik yang sangat cermat.
Untuk setiap soal, para penulis menyiapkan solusi referensi dan gambar teknik berpresisi tinggi yang dibuat oleh manusia dalam kode Asymptote. Format ini memungkinkan untuk merender diagram dan membandingkannya dengan apa yang dihasilkan model.
Untuk mengevaluasi penalaran diagram, para pengembang mengusulkan beberapa jenis metrik. Mereka memeriksa hasil berdasarkan teks, kode, gambar akhir, serta melibatkan model visi-bahasa dan pemeriksaan kendala terpisah. Berkat ini, kita dapat melihat tidak hanya apakah gambar terbentuk, tetapi juga sejauh mana gambar tersebut sesuai dengan kondisi geometris awal.
Apa yang ditunjukkan oleh pengujian awal
Para penulis menjalankan beberapa model fundamental melalui tolok ukur ini. Hasilnya mengonfirmasi hipotesis awal: model secara signifikan lebih baik dalam memecahkan soal daripada membuat diagram untuk soal tersebut. Tingkat keberhasilan kompilasi rata-rata untuk gambar teknik yang dihasilkan hanya 36,14%. Ini berarti bahwa dalam sebagian besar kasus, model tidak mampu menangani kode, atau membangun gambar yang secara geometris tidak benar.
Terlebih lagi, hasil yang rendah tidak dapat dijelaskan hanya oleh kompleksitas bahasa Asymptote: untuk sebagian soal, model memberikan jawaban yang benar, tetapi tidak dapat menggambar bahkan perkiraan kondisinya. Tampaknya, pemikiran spasial dan penalaran matematis pada AI modern berkembang secara independen, dan metode pelatihan saat ini tidak menghubungkan keduanya.
Mengapa ini penting
Gambar teknik yang akurat adalah bagian penting dari geometri olimpiade. Seringkali justru konstruksi tambahan — lingkaran yang ditarik, segmen garis, atau titik simetris — yang memberikan petunjuk solusi. Jika model tidak dapat membangun elemen bantu semacam itu, maka "keberhasilannya" dalam geometri tidak dapat dianggap sebagai pemahaman soal yang utuh.
Tolok ukur yang dibuat memungkinkan para peneliti untuk memisahkan kemampuan memecahkan dari kemampuan memvisualisasikan. Ini adalah langkah pertama menuju pengembang yang mulai secara terarah melatih model untuk bekerja dengan representasi grafis. Data terbuka dari 954 soal tersedia melalui tautan di anotasi, sehingga siapa pun dapat menggunakan tes baru ini.
Kesimpulannya sederhana: jawaban yang benar bukanlah jaminan gambar teknik yang benar. Kumpulan data baru ini membantu melihatnya secara jelas dan, mungkin, akan menjadi dasar untuk pelatihan AI yang lebih "spasial".
