Les grands modèles de langage modernes excellent dans les tâches où il faut mémoriser et appliquer les connaissances humaines existantes. Mais un système véritablement intelligent doit savoir dépasser ce qu'il a appris : poser des questions que personne n'a encore posées et transformer des hypothèses en résultats scientifiques vérifiables. C'est précisément cette capacité — ou plutôt son absence chez les IA actuelles — qu'un nouveau benchmark nommé ASI-Bench a décidé de mesurer.
De la reproduction des connaissances à la création de nouvelles
Les chercheurs ont depuis longtemps remarqué que les modèles modernes sont entraînés à compresser et combiner des informations issues d'immenses ensembles de données créés par les humains. Cependant, la superintelligence, selon la compréhension des auteurs, n'est pas simplement un « reformulateur » plus puissant, mais un système capable d'explorer de manière autonome l'inconnu et de produire de nouvelles connaissances. Les tests traditionnels se résument presque toujours à vérifier avec quelle précision le modèle reproduit les informations apprises et s'il est capable de suivre des instructions humaines détaillées. Ils ne répondent pas à la question essentielle : l'IA peut-elle agir comme un scientifique autonome ?
Dans cette situation, un outil fondamentalement différent s'imposait, qui testerait précisément la créativité scientifique et l'autonomie — et le premier pas dans cette direction a été fait par ASI-Bench.
Comment fonctionne le benchmark
Le développement du nouveau test a nécessité plus de 31 000 heures de travail humain, en collaboration avec plus de 40 experts. Au final, le benchmark comprend 60 tâches de recherche sous forme de projets issus de 11 domaines scientifiques — des sciences naturelles aux disciplines d'ingénierie. Chaque tâche est conçue comme un petit projet de recherche, où il faut mener le travail de l'hypothèse initiale jusqu'au résultat vérifiable.
La particularité fondamentale d'ASI-Bench est le retrait progressif du soutien méthodologique. Pour chaque tâche, les auteurs ont préparé plusieurs niveaux de guidage : des instructions les plus détaillées, où chaque étape est décrite, jusqu'à un énoncé où l'agent doit lui-même choisir la méthode et même définir la direction de la recherche. Ainsi, le test permet de voir jusqu'où l'IA est prête à aller sans les indications de l'humain.
Pour éliminer les erreurs et le « par cœur », toutes les tâches passent par une vérification en plusieurs étapes : relecture par des experts, audit via un autre système d'IA, exécution dans un bac à sable isolé et validation séparée des résultats du calcul des scores. Cela rend les résultats plus fiables par rapport aux tests ordinaires.
Premiers résultats : la dépendance à l'humain
Les auteurs ont fait passer 18 configurations « agent—modèle » de niveau state-of-the-art à travers tous les niveaux de tâches. Les résultats sont révélateurs. Avec un guidage méthodologique complet, le score moyen était de 50,91 ; lorsque seul le niveau de la méthode était laissé à l'agent, il tombait à 29,10. Et quand le modèle devait déterminer lui-même la méthode, le score chutait à 26,62.
Cette chute brutale montre que même les systèmes les plus modernes ne sont pas encore prêts à mener des recherches scientifiques complètes sans indications humaines détaillées. Ils sont forts dans l'exécution d'étapes clairement définies, mais se perdent nettement dès qu'il faut prendre l'initiative. C'est un signal important pour tous ceux qui attendent l'arrivée imminente de la superintelligence : le progrès dans la reproduction des connaissances n'équivaut pas au progrès dans la recherche scientifique autonome.
Plateforme ouverte et prochaines étapes
Les développeurs ont rendu ASI-Bench ouvert à la communauté scientifique et invitent les chercheurs du monde entier à ajouter de nouvelles tâches. Cela permettra d'élargir l'ensemble des domaines et des scénarios, rendant le benchmark plus complet. De plus, l'ouverture du test permet de suivre la progression des systèmes d'IA en dynamique : les résultats actuels deviendront probablement le point de départ pour la comparaison avec les futurs modèles.
Malgré des scores encore faibles, le principal résultat de cette recherche n'est pas la déception, mais l'apparition d'un outil qui permet pour la première fois de mesurer cette qualité « de recherche » de l'IA. La suite appartient aux nouvelles architectures de modèles et d'agents : sauront-elles réduire l'écart entre l'exécution guidée et le travail scientifique autonome ?
