Modelos de linguagem de grande porte modernos lidam muito bem com tarefas que exigem lembrar e aplicar conhecimentos humanos existentes. Mas um sistema verdadeiramente inteligente deve ser capaz de ir além do que foi aprendido: fazer perguntas que ninguém ainda fez e transformar suposições em resultados científicos verificáveis. Foi exatamente essa capacidade — ou melhor, a falta dela nos IAs atuais — que o novo benchmark chamado ASI-Bench decidiu medir.
Da reprodução de conhecimento à criação de novos
Pesquisadores há muito notaram que os modelos modernos são treinados para comprimir e combinar informações de enormes conjuntos de dados criados por humanos. No entanto, superinteligência, na visão dos autores, não é apenas um "recontador" mais poderoso, mas um sistema capaz de explorar o desconhecido de forma autônoma e produzir novo conhecimento. Testes tradicionais quase sempre se resumem a verificar o quão precisamente o modelo reproduz informações aprendidas e se ele consegue seguir instruções humanas detalhadas. Eles não respondem à pergunta principal: o IA pode agir como um cientista autônomo?
Nessa situação, foi necessário um instrumento fundamentalmente diferente, que testasse justamente a criatividade científica e a autonomia — e o primeiro passo nessa direção foi dado pelo ASI-Bench.
Como o benchmark funciona
O desenvolvimento do novo teste levou mais de 31.000 horas-homem de trabalho conjunto de mais de 40 especialistas. No final, o benchmark incluiu 60 tarefas de pesquisa projetual de 11 áreas científicas — das ciências naturais às disciplinas de engenharia. Cada tarefa é estruturada como um pequeno projeto de pesquisa, no qual é preciso conduzir o trabalho desde a hipótese inicial até um resultado verificável.
A característica fundamental do ASI-Bench é a remoção gradual do suporte metodológico. Para cada tarefa, os autores prepararam vários níveis de orientação: desde instruções extremamente detalhadas, onde cada passo é descrito, até uma formulação em que o agente deve escolher o método e até definir a direção da pesquisa. Assim, o teste permite ver até onde o IA está disposto a ir sem dicas humanas.
Para eliminar erros e "decoreba" de respostas, todas as tarefas passam por uma verificação em múltiplas etapas: revisão por especialistas, auditoria com outro sistema de IA, execução em sandbox isolado e validação separada dos resultados da contagem de pontos. Isso torna os resultados mais confiáveis em comparação com testes comuns.
Primeiros resultados: dependência do humano
Os autores rodaram 18 configurações de "agente-modelo" de nível state-of-the-art em todos os níveis de tarefas. Os resultados foram reveladores. Com orientação metodológica completa, a pontuação média era 50,91; quando o agente recebia apenas o método, já caía para 29,10. Quando o modelo precisava determinar o método por conta própria, a pontuação despencava para 26,62.
Essa queda acentuada mostra que mesmo os sistemas mais modernos ainda não estão prontos para conduzir pesquisas científicas completas sem dicas humanas detalhadas. Eles são fortes na execução de passos claramente definidos, mas se perdem visivelmente quando precisam tomar a iniciativa. É um sinal importante para todos que esperam o surgimento iminente da superinteligência: o progresso na reprodução de conhecimento não equivale ao progresso na busca científica autônoma.
Plataforma aberta e próximos passos
Os desenvolvedores tornaram o ASI-Bench aberto à comunidade científica e convidam pesquisadores do mundo todo a adicionar novas tarefas. Isso permitirá expandir o conjunto de áreas e cenários, tornando o benchmark mais completo. Além disso, a abertura do teste possibilita acompanhar o progresso dos sistemas de IA em dinâmica: os resultados atuais provavelmente se tornarão o ponto de partida para comparação com modelos futuros.
Apesar dos números ainda baixos, o principal resultado desta pesquisa não é a decepção, mas o surgimento de uma ferramenta que, pela primeira vez, permite medir essa qualidade "investigativa" do IA. O próximo passo é ver se novos modelos e arquiteturas de agentes conseguirão reduzir a lacuna entre a execução sob orientação e o trabalho científico autônomo.
