Piala Dunia FIFA sebagai ujian untuk AI: percobaan Piala Dunia AI 2026

12 Agustus 202648 tampilan

Sepuluh model bahasa memprediksi hasil dari seluruh turnamen di muka, dan pemenang secara keseluruhan adalah model yang benar menebak juara. Sementara itu, para pemimpin dalam akurasi kecocokan individu jauh dari pertama dalam posisi akhir.

Piala Dunia FIFA sebagai ujian untuk AI: percobaan Piala Dunia AI 2026

The Essence of the Experiment

Piala Dunia FIFA adalah tempat pengujian yang ideal untuk AI: hanya 104 yang cocok, aturan yang ketat, dan sejumlah besar faktor. Peneliti Jonaid Shianifar dan Iias Faiud memutuskan untuk menggunakan acara ini untuk membuat Piala Dunia AI 2026 benchmark. Sepuluh asisten berdasarkan model bahasa yang besar mengambil bagian dalam percobaan. Masing-masing harus membuat satu prediksi untuk seluruh turnamen sebelum peluit mulai.

Kondisi ini benar-benar identik untuk semua orang: snapshot yang sama dari informasi turnamen, sebuah prompt, skema respon JSON yang sama, dan prosedur mencetak angka umum. Pendekatan ini menghilangkan perbedaan acak dan memungkinkan membandingkan kemampuan model itu sendiri daripada kualitas prompt. Prediksi ini termasuk tidak hanya skor dari setiap pertandingan tahap-kelompok, tetapi juga klasemen kelompok terakhir, playoff lengkap bracket, posisi akhir tim, serta tingkat kepercayaan model dan penjelasan singkat dari keputusannya.

Bagaimana mencetak berhasil

Fitur utama Al World Cup adalah evaluasi holistik dari prediksi. Poin diberikan untuk setiap bagian dari turnamen: untuk angka yang tepat. untuk pemenang yang benar dari sepasang playoff, dan sebagainya.

Desain ini penting karena mengungkapkan bagian mana dari turnamen yang paling berkontribusi ke peringkat akhir. Seperti yang ditunjukkan perhitungan berikutnya, kontribusi yang ternyata menjadi sangat tidak rata. Model tidak diizinkan untuk merevisi jawaban mereka setelah pertandingan dimulai - prediksi itu terkunci sebelum turnamen. Ini mensimulasikan tugas nyata dari seorang analis yang harus memberikan perkiraan akhir di muka, tanpa kemampuan untuk mengintip hasil menengah.

Siapa yang memenangkan standing keseluruhan

Tempat pertama oleh margin lebar pergi ke GPT-5.5 Berpikir - 744 poin. Hasil kedua diposting oleh GPT-5.5 (717 poin), ketiga adalah Gemini (699), dan keempat - Qwen 3.7 (687). Menariknya, hanya pemenang memprediksi gelar Spanyol - di final yang sebenarnya, Spanyol mengalahkan Argentina 1: 0. Tampaknya kapasitas model untuk alasan panjang memberikan tepi dalam tugas multi- langkah.

Mengapa playoff memutuskan segalanya

Yang paling tak terduga adalah analisis korelasi. Nilai total model yang hampir sempurna berkorelasi dengan poin yang diperoleh untuk prediksi playoff: koefisien korelasi adalah 0.986. Pada saat yang sama, hubungan dengan hasil group-stage hampir nol (r = 0.055), dan dengan perkiraan posisi grup itu bahkan negatif (r = 2000.103). Skornya sebelum babak playoff juga tidak berpengaruh pada penempatan akhir (r = 2000.054).

Ini berarti bahwa kesuksesan di benchmark tidak bergantung pada seberapa akurat sebuah model memprediksi skor dari kecocokan individu, tetapi apakah itu bisa benar membangun bracket turnamen. Kesalahan dalam kelompok bisa dikompensasi oleh ramalan playoff yang akurat, dan sebaliknya - setiap gagal dalam playoff yang fatal untuk peringkat.

Akurasi pada pertandingan individu bukan apa yang paling penting

Penulisnya secara terpisah memeriksa akurasi dari prediksi hasil pentas. Di sini model terbaik adalah Claude Sonnet 4.6 - itu benar menebak 63.89% hasil. Namun, itu selesai hanya keenam di Posisi keseluruhan. Jadi kemampuan untuk menebak kecocokan individu tidak menjamin keberhasilan dalam prediksi turnamen holistik. Sebuah model dapat unggul dalam tugas-tugas lokal ketika kehilangan gambaran besar - sebagai contoh, menggelapkan tim dalam kurung playoff atau membuat kesalahan di posisi akhir.

Keyakinan tidak terkait dengan akurasi

Kesimpulan penting lainnya menyangkut kalibrasi kepercayaan. Model menunjukkan seberapa percaya diri mereka dalam prediksi mereka, tapi perkiraan ini tidak ada hubungannya dengan hasil sebenarnya. Korelasi keyakinan rata-rata dengan akurasi hasil adalah hingga 0,060, dan dengan total skor - 200067. Dengan kata lain, model yang paling percaya diri bukanlah yang paling akurat, dan yang paling sederhana tidak selalu salah. Ini adalah pengingat bahwa sendiri jaringan saraf penilaian bukan metrik kualitas tetapi hanya refleksi dari distribusi probabilitas internal.

Apa artinya ini bagi ramalan AI

Kesimpulan utama penulis adalah bahwa meramalkan seluruh ujian turnamen memiliki kemampuan yang berbeda daripada memprediksi kecocokan satu per satu. Peringkat akhir bergantung pada rancangan dari sistem mencetak angka: jika poin diberikan secara berbeda, urutan model bisa berubah. Ini adalah pengingat penting bagi siapa saja yang menggunakan AI dalam analitis: Anda perlu memahami dengan jelas tugas apa model ini memecahkan dan apa yang sebenarnya ingin kita ukur.

Dari sudut pandang praktis, Piala Dunia AI 2026 menunjukkan bahwa LLM modern sudah mampu membangun prakiraan multi- panggung kompleks, tetapi mereka masih jauh dari menjadi "oracle sepak bola yang dapat diandalkan". Namun demikian, keterbukaan bahan - respon model mentah, mencetak kode, prompt - membuat benchmark ini berguna untuk penelitian lebih lanjut. Setiap tim dapat menganggapnya sebagai yayasan dan mengusulkan skema evaluasi sendiri. Kertas itu sendiri pada arXiv menjalankan 18 halaman, termasuk 8 angka dan 7 tabel, dan repositori projek terdaftar dalam teks - jadi jika Anda ingin, Anda dapat mempelajari semua rincian ke setiap respon individu model.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?
Berita

Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?

Studi ini menguji apakah menyertakan hukum fisika dalam model dinamika yang dapat dilatih memang sepadan: invarian yang diekstrak dari lintasan dan diubah ke bentuk kanonis melalui basis Gröbner hanya sedikit meningkatkan prediksi, tetapi sangat berguna untuk diagnosis—invarian ini dapat membantu menemukan kendala yang dilanggar dan mengidentifikasi parameter spesifik yang keliru.

10 November 2026
AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya
Berita

AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya

Framework ini mengevaluasi perilaku agen LLM bukan berdasarkan keputusan akhir, melainkan respons terhadap risiko di titik-titik penting: rangkaian pemanggilan alat dihentikan, lalu model harus melanjutkan penalaran dan tindakan, sementara panel juri LLM menilai deteksi risiko, karakter, dan keamanan langkah tersebut. Dalam 1.249 tugas yang dikumpulkan dari 157 rangkaian R-Judge, 20 model lebih sering melakukan tindakan tidak aman saat jalur aman tidak tersedia, dan penghapusan pengawasan sebelum eksekusi mengubah 52,3% kasus yang semula aman menjadi tidak aman.

10 November 2026
Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas
Berita

Memori reservoir Chern–Simons: dinamika konektivitas mandiri dan transfer densitas

Artikel ini membahas bagaimana reservoir menyimpan riwayat sinyal masukan secara bersamaan dalam distribusi densitas dan derajat kebebasan geometris. Perbandingan empat mekanisme menunjukkan bahwa arus menciptakan komponen keterhubungan tersendiri yang mengubah respons densitas berikutnya, sementara penggunaan semua fitur yang terukur memberikan sedikit peningkatan dalam dekode urutan pulsa.

10 November 2026
Piala Dunia AI 2026: