Los modelos de lenguaje grandes modernos se desenvuelven muy bien en tareas donde hay que recordar y aplicar el conocimiento humano existente. Pero un sistema verdaderamente inteligente debe ser capaz de ir más allá de lo aprendido: plantear preguntas que nadie ha formulado aún y convertir conjeturas en resultados científicos comprobables. Es precisamente esta capacidad —o más bien, su ausencia en las IA actuales— lo que se propuso medir el nuevo benchmark llamado ASI-Bench.
De la reproducción del conocimiento a la creación de nuevo conocimiento
Los investigadores han notado desde hace tiempo que los modelos modernos están entrenados para comprimir y combinar información de enormes conjuntos de datos creados por humanos. Sin embargo, la superinteligencia, en la comprensión de los autores, no es simplemente un «recontador» más potente, sino un sistema capaz de explorar lo desconocido de forma autónoma y producir nuevo conocimiento. Las pruebas tradicionales casi siempre se reducen a verificar con qué precisión el modelo reproduce la información aprendida y si es capaz de seguir instrucciones humanas detalladas. No responden a la pregunta principal: ¿puede la IA actuar como un científico independiente?
Ante esta situación, se necesitaba una herramienta radicalmente distinta que pusiera a prueba precisamente la creatividad científica y la autonomía — y el primer paso en esta dirección lo dio ASI-Bench.
Cómo está diseñado el benchmark
El desarrollo de la nueva prueba tomó más de 31 000 horas-hombre de trabajo conjunto de más de 40 expertos. Como resultado, el benchmark incluye 60 tareas de investigación proyectual de 11 áreas científicas — desde las ciencias naturales hasta las disciplinas de ingeniería. Cada tarea está estructurada como un pequeño proyecto de investigación en el que hay que realizar el trabajo desde la hipótesis inicial hasta un resultado comprobable.
La característica fundamental de ASI-Bench es la eliminación gradual del apoyo metodológico. Para cada tarea, los autores prepararon varios niveles de guía: desde instrucciones máximamente detalladas, donde se describe cada paso, hasta un planteamiento en el que el agente debe elegir él mismo el método e incluso determinar la dirección de la investigación. Así, la prueba permite ver hasta dónde está dispuesta a llegar la IA sin indicaciones humanas.
Para eliminar errores y el «memorizado» de respuestas, todas las tareas pasan por una verificación en múltiples etapas: revisión de expertos, auditoría con otro sistema de IA, ejecución en un entorno aislado y una validación separada de los resultados del cálculo de puntuaciones. Esto hace que los resultados sean más fiables en comparación con las pruebas habituales.
Primeros resultados: dependencia del humano
Los autores ejecutaron 18 configuraciones «agente-modelo» de nivel state-of-the-art a través de todos los niveles de tareas. Los resultados resultaron reveladores. Si con una guía metodológica completa la puntuación media era de 50,91, cuando al agente solo se le dejaba el método, ya era de 29,10. Y cuando el modelo tenía que determinar el método por sí mismo, la puntuación caía a 26,62.
Esta caída tan pronunciada indica que incluso los sistemas más modernos aún no están preparados para llevar a cabo investigaciones científicas integrales sin indicaciones humanas detalladas. Son fuertes en la ejecución de pasos claramente definidos, pero se pierden notablemente en cuanto deben tomar la iniciativa. Es una señal importante para todos los que esperan la pronta aparición de la superinteligencia: el progreso en la reproducción del conocimiento no equivale al progreso en la búsqueda científica autónoma.
Plataforma abierta y próximos pasos
Los desarrolladores han hecho que ASI-Bench sea abierto para la comunidad científica e invitan a investigadores de todo el mundo a añadir nuevas tareas. Esto permitirá ampliar el conjunto de áreas y escenarios, haciendo el benchmark más completo. Además, la apertura de la prueba brinda la posibilidad de seguir el progreso de los sistemas de IA de forma dinámica: los resultados actuales probablemente se convertirán en el punto de partida para comparar con los futuros modelos.
A pesar de los resultados aún bajos, la principal conclusión de esta investigación no es la decepción, sino la aparición de una herramienta que por primera vez permite medir esa cualidad «investigadora» de la IA. Lo que queda por delante es ver si los nuevos modelos y arquitecturas de agentes podrán reducir la brecha entre la ejecución bajo supervisión y el trabajo científico autónomo.
