The Essence of the Experiment
Piala Dunia FIFA adalah tempat pengujian yang ideal untuk AI: hanya 104 yang cocok, aturan yang ketat, dan sejumlah besar faktor. Peneliti Jonaid Shianifar dan Iias Faiud memutuskan untuk menggunakan acara ini untuk membuat Piala Dunia AI 2026 benchmark. Sepuluh asisten berdasarkan model bahasa yang besar mengambil bagian dalam percobaan. Masing-masing harus membuat satu prediksi untuk seluruh turnamen sebelum peluit mulai.
Kondisi ini benar-benar identik untuk semua orang: snapshot yang sama dari informasi turnamen, sebuah prompt, skema respon JSON yang sama, dan prosedur mencetak angka umum. Pendekatan ini menghilangkan perbedaan acak dan memungkinkan membandingkan kemampuan model itu sendiri daripada kualitas prompt. Prediksi ini termasuk tidak hanya skor dari setiap pertandingan tahap-kelompok, tetapi juga klasemen kelompok terakhir, playoff lengkap bracket, posisi akhir tim, serta tingkat kepercayaan model dan penjelasan singkat dari keputusannya.
Bagaimana mencetak berhasil
Fitur utama Al World Cup adalah evaluasi holistik dari prediksi. Poin diberikan untuk setiap bagian dari turnamen: untuk angka yang tepat. untuk pemenang yang benar dari sepasang playoff, dan sebagainya.
Desain ini penting karena mengungkapkan bagian mana dari turnamen yang paling berkontribusi ke peringkat akhir. Seperti yang ditunjukkan perhitungan berikutnya, kontribusi yang ternyata menjadi sangat tidak rata. Model tidak diizinkan untuk merevisi jawaban mereka setelah pertandingan dimulai - prediksi itu terkunci sebelum turnamen. Ini mensimulasikan tugas nyata dari seorang analis yang harus memberikan perkiraan akhir di muka, tanpa kemampuan untuk mengintip hasil menengah.
Siapa yang memenangkan standing keseluruhan
Tempat pertama oleh margin lebar pergi ke GPT-5.5 Berpikir - 744 poin. Hasil kedua diposting oleh GPT-5.5 (717 poin), ketiga adalah Gemini (699), dan keempat - Qwen 3.7 (687). Menariknya, hanya pemenang memprediksi gelar Spanyol - di final yang sebenarnya, Spanyol mengalahkan Argentina 1: 0. Tampaknya kapasitas model untuk alasan panjang memberikan tepi dalam tugas multi- langkah.
Mengapa playoff memutuskan segalanya
Yang paling tak terduga adalah analisis korelasi. Nilai total model yang hampir sempurna berkorelasi dengan poin yang diperoleh untuk prediksi playoff: koefisien korelasi adalah 0.986. Pada saat yang sama, hubungan dengan hasil group-stage hampir nol (r = 0.055), dan dengan perkiraan posisi grup itu bahkan negatif (r = 2000.103). Skornya sebelum babak playoff juga tidak berpengaruh pada penempatan akhir (r = 2000.054).
Ini berarti bahwa kesuksesan di benchmark tidak bergantung pada seberapa akurat sebuah model memprediksi skor dari kecocokan individu, tetapi apakah itu bisa benar membangun bracket turnamen. Kesalahan dalam kelompok bisa dikompensasi oleh ramalan playoff yang akurat, dan sebaliknya - setiap gagal dalam playoff yang fatal untuk peringkat.
Akurasi pada pertandingan individu bukan apa yang paling penting
Penulisnya secara terpisah memeriksa akurasi dari prediksi hasil pentas. Di sini model terbaik adalah Claude Sonnet 4.6 - itu benar menebak 63.89% hasil. Namun, itu selesai hanya keenam di Posisi keseluruhan. Jadi kemampuan untuk menebak kecocokan individu tidak menjamin keberhasilan dalam prediksi turnamen holistik. Sebuah model dapat unggul dalam tugas-tugas lokal ketika kehilangan gambaran besar - sebagai contoh, menggelapkan tim dalam kurung playoff atau membuat kesalahan di posisi akhir.
Keyakinan tidak terkait dengan akurasi
Kesimpulan penting lainnya menyangkut kalibrasi kepercayaan. Model menunjukkan seberapa percaya diri mereka dalam prediksi mereka, tapi perkiraan ini tidak ada hubungannya dengan hasil sebenarnya. Korelasi keyakinan rata-rata dengan akurasi hasil adalah hingga 0,060, dan dengan total skor - 200067. Dengan kata lain, model yang paling percaya diri bukanlah yang paling akurat, dan yang paling sederhana tidak selalu salah. Ini adalah pengingat bahwa sendiri jaringan saraf penilaian bukan metrik kualitas tetapi hanya refleksi dari distribusi probabilitas internal.
Apa artinya ini bagi ramalan AI
Kesimpulan utama penulis adalah bahwa meramalkan seluruh ujian turnamen memiliki kemampuan yang berbeda daripada memprediksi kecocokan satu per satu. Peringkat akhir bergantung pada rancangan dari sistem mencetak angka: jika poin diberikan secara berbeda, urutan model bisa berubah. Ini adalah pengingat penting bagi siapa saja yang menggunakan AI dalam analitis: Anda perlu memahami dengan jelas tugas apa model ini memecahkan dan apa yang sebenarnya ingin kita ukur.
Dari sudut pandang praktis, Piala Dunia AI 2026 menunjukkan bahwa LLM modern sudah mampu membangun prakiraan multi- panggung kompleks, tetapi mereka masih jauh dari menjadi "oracle sepak bola yang dapat diandalkan". Namun demikian, keterbukaan bahan - respon model mentah, mencetak kode, prompt - membuat benchmark ini berguna untuk penelitian lebih lanjut. Setiap tim dapat menganggapnya sebagai yayasan dan mengusulkan skema evaluasi sendiri. Kertas itu sendiri pada arXiv menjalankan 18 halaman, termasuk 8 angka dan 7 tabel, dan repositori projek terdaftar dalam teks - jadi jika Anda ingin, Anda dapat mempelajari semua rincian ke setiap respon individu model.
