Para onde estão indo os benchmarks de LLMs
Os testes modernos para grandes modelos de linguagem estão gradualmente perdendo o sentido: os modelos alcançam pontuações altas, e a diferença entre eles se torna cada vez menos significativa. Os autores de um novo estudo veem a causa na forma como a complexidade dos benchmarks é estruturada. Atualmente, duas estratégias são populares: ou aumentar o volume de conhecimento altamente especializado, como em GPQA ou HLE, ou partir para a lógica abstrata no estilo do ARC-AGI. A primeira abordagem tem um problema: um resultado alto pode ser consequência da memorização de fatos, e não de uma compreensão real. A segunda abordagem, por outro lado, separa o raciocínio do contexto prático — tais tarefas têm pouco a ver com o que o modelo enfrentará na vida real.
O novo benchmark GIM (Grounded Integration Measure) propõe um terceiro caminho. Seus autores acreditam que a complexidade deve surgir não da erudição nem de quebra-cabeças, mas da necessidade de acionar simultaneamente várias habilidades cognitivas diferentes com base em conhecimentos públicos.
Como o GIM é estruturado
O conjunto é composto por 820 tarefas autorais: 615 abertas a todos e 205 privadas, que permanecem ocultas para evitar o overfitting. É importante que cada tarefa seja uma composição original, e não uma reformulação de perguntas já existentes.
A complexidade é alcançada não por fatos raros, mas pela coordenação de operações. Por exemplo, em uma tarefa, o modelo pode precisar simultaneamente:
- satisfazer várias restrições;
- acompanhar o estado mutável de um processo;
- demonstrar vigilância epistêmica, ou seja, entender em quais fontes e afirmações se pode confiar;
- adaptar a resposta a um público específico.
Além disso, todas as tarefas se baseiam em conhecimentos públicos — não se exige que o modelo seja especialista em uma área restrita. O resultado é um teste não de memória, mas da capacidade de reunir diferentes habilidades e aplicá-las em uma situação realista.
As respostas são avaliadas principalmente por meio de rubricas: o resultado é decomposto em componentes individuais, e cada componente é verificado de forma independente. Isso reduz a probabilidade de o modelo obter pontuação total por uma resposta parcialmente correta.
Como os modelos foram avaliados
Os autores não se basearam apenas na proporção de respostas corretas. Em vez disso, usaram um modelo IRT contínuo de dois parâmetros — um método da psicometria que leva em conta tanto a habilidade do modelo quanto a dificuldade das tarefas. O modelo foi calibrado em 53 configurações de teste — pares únicos de "modelo × nível de raciocínio". Para isso, foram recrutados cinco avaliadores especialmente calibrados.
No total, foram obtidas mais de um milhão de observações brutas dos avaliadores, que foram então agregadas em 203.800 células. Esse procedimento gera estimativas robustas de habilidade que não se desestabilizam devido a distorções típicas da precisão bruta: rigor ou leniência dos avaliadores, dados perdidos, erros desiguais entre diferentes modelos. As pontuações finais ordenam corretamente as configurações de teste mesmo sob tal ruído.
Com base nesses cálculos, os autores montaram um leaderboard que inclui 22 modelos e 47 configurações oficiais de relatório.
O papel do tempo de raciocínio
Separadamente, os pesquisadores estudaram como o orçamento computacional durante a inferência — test-time compute — influencia os resultados. Este é o maior estudo publicado desse tipo em um benchmark fixo: incluiu 11 modelos e 35 configurações de teste.
As conclusões foram inesperadas em grande parte devido ao desenho do experimento. Configurações dentro da mesma família — como o orçamento de tokens de raciocínio ou a quantização — influenciam o resultado tanto quanto a escolha do próprio modelo. Ou seja, é possível pegar o mesmo modelo, alterar os parâmetros de raciocínio — e obter uma diferença comparável à mudança para outro modelo mais poderoso.
No entanto, há uma limitação importante: aumentar o número de tokens de raciocínio gera retornos marginais decrescentes. Após certo limite, cálculos adicionais quase não melhoram a resposta. Isso significa que aumentar indefinidamente o "tempo para pensar" é ineficiente — é preciso buscar um equilíbrio entre orçamento e qualidade.
Conclusões
O artigo que descreve o GIM foi publicado no arXiv em 2026 e se tornou um evento notável para a comunidade: 61 páginas, 27 figuras, 4 tabelas. O código e os dados do benchmark são abertos, portanto qualquer pesquisador poderá executar seus próprios modelos e compará-los com os resultados publicados.
A principal ideia do GIM não é tornar o teste ainda mais difícil por meio de fatos ou abstrações, mas sim aproximar as tarefas da realidade, onde diferentes habilidades cognitivas trabalham em conjunto. Talvez sejam exatamente esses benchmarks que permitirão avaliar não apenas a "capacidade de memorizar" ou a "capacidade de pensar logicamente no vácuo", mas a utilidade prática dos modelos em cenários complexos.
