A Essência da Experiência
A Copa do Mundo FIFA é um campo de testes ideal para IA: apenas 104 partidas, regras rigorosas e um enorme número de fatores. Os pesquisadores Jonaid Shianifar e Iias Faiud decidiram usar este evento para criar a AI World Cup 2026. Dez assistentes baseados em modelos de linguagem de grande porte participaram do experimento. Cada um deles teve de fazer uma única previsão para todo o torneio — antes do apito inicial.
As condições eram absolutamente idênticas para todos: o mesmo instantâneo da informação do torneio, um único prompt, o mesmo esquema de resposta JSON, e um procedimento de pontuação comum. Esta abordagem elimina diferenças aleatórias e permite comparar as capacidades dos próprios modelos em vez da qualidade dos prompts. A previsão incluiu não apenas a pontuação de cada partida de grupo-estágio, mas também a classificação final do grupo, o suporte de playoff completo, as posições finais das equipes, bem como o nível de confiança do modelo e uma breve explicação de sua decisão.
Como a pontuação funcionou
A principal característica da Copa do Mundo de IA é a avaliação holística de uma previsão. Os pontos foram premiados para cada parte do torneio: para uma pontuação de jogo corretamente adivinhada , para a posição correta de uma equipe em seu grupo, para o vencedor correto de um par playoff, e assim por diante. Os autores deliberadamente tornaram a pontuação transparente: as fórmulas e o código são publicados, para que qualquer um possa reproduzir os resultados.
Este design é importante porque revela qual parte do torneio contribui mais para o ranking final. Como os cálculos subsequentes mostraram, essa contribuição resultou ser extremamente desigual. Modelos não foram autorizados a rever suas respostas depois que as partidas começaram — a previsão foi bloqueada antes do torneio. Isso simula a tarefa real de um analista que deve apresentar uma previsão final com antecedência, sem a capacidade de espiar resultados intermediários.
Quem ganhou a classificação geral
Primeiro lugar por uma margem larga foi para GPT-5.5 Pensando — 744 pontos. O segundo resultado foi publicado por GPT-5.5 (717 pontos), Gemini (699), e quarto — Qwen 3.7 (687). Curiosamente, apenas o vencedor previu o título da Espanha — na final real, os espanhóis venceram a Argentina 1:0. Parece que a capacidade do modelo para raciocínio longo lhe deu uma vantagem em uma tarefa tão multi-passo.
Por que os playoffs decidem tudo
O achado mais inesperado é a análise de correlação. O escore total de um modelo correlacionou-se quase perfeitamente com os pontos ganhos para as previsões dos playoffs: o coeficiente de correlação foi de 0,986. Ao mesmo tempo, a relação com os resultados do grupo-estágio foi praticamente zero (r=0,055), e com as previsões da posição-grupo foi até negativa (r=−0.103). A pontuação cumulativa antes dos playoffs também não teve efeito na colocação final (r=−0,054).
Isso significa que o sucesso no benchmark não dependia da precisão com que um modelo previa as pontuações de partidas individuais, mas de se poderia corretamente construir o bracket do torneio. Erros na fase de grupo poderiam ser compensados por previsões precisas de playoffs, e vice-versa — quaisquer falhas nos playoffs foram fatais para o ranking.
A precisão em jogos individuais não é o que mais importa
Os autores examinaram separadamente a acurácia das predições de desfecho em estágio de grupo. Aqui o melhor modelo foi Claude Sonnet 4.6 — ele adivinhou corretamente 63,89% dos resultados. No entanto, só terminou em sexto lugar no Perspectivas gerais. Assim, a capacidade de adivinhar jogos individuais não garante sucesso em uma previsão holística de torneios. Um modelo pode se destacar em tarefas locais enquanto perde o quadro geral — por exemplo, má colocação de equipes no playoff ou erros em posições finais.
A confiança não está ligada à exatidão
Outra conclusão importante diz respeito à calibração da confiança. Os modelos indicaram quão confiantes estavam em suas previsões, mas essas estimativas não tinham nada a ver com resultados reais. A correlação da confiança média com a acurácia do desfecho foi −0,060, e com o escore total – −0,067. Em outras palavras, o modelo mais confiante não era o mais preciso, e o mais modesto não estava necessariamente errado. Este é um lembrete de que a auto-avaliação de uma rede neural não é uma métrica de qualidade, mas apenas um reflexo de sua distribuição interna de probabilidade.
O que isto significa para a previsão de IA
A principal conclusão dos autores é que prever um torneio inteiro testa habilidades diferentes do que prever partidas uma a uma. O ranking final depende fortemente do desenho do sistema de pontuação: se os pontos fossem concedidos de forma diferente, a ordem dos modelos poderia mudar. Este é um lembrete importante para quem usa IA em análise: você precisa entender claramente que tarefa o modelo está resolvendo e o que exatamente queremos medir.
Do ponto de vista prático, a AI World Cup 2026 mostrou que os LLMs modernos já são capazes de construir previsões complexas em vários estágios, mas ainda estão longe de ser um confiável "oráculo de futebol". No entanto, a abertura dos materiais — respostas de modelo bruto, código de pontuação, alertas — torna este parâmetro de referência útil para novas pesquisas. Qualquer equipe pode tomá-lo como uma fundação e propor seu próprio esquema de avaliação. O trabalho em si no arXiv executa 18 páginas, inclui 8 figuras e 7 tabelas, e o repositório do projeto está listado no texto — então, se desejar, você pode estudar todos os detalhes até as respostas individuais de cada modelo.
