Hacia dónde se mueven los benchmarks de LLM
Las pruebas modernas para los grandes modelos de lenguaje están perdiendo gradualmente su sentido: los modelos obtienen puntuaciones altas y la diferencia entre ellos es cada vez menos reveladora. Los autores de una nueva investigación ven la causa en cómo está estructurada la complejización de los benchmarks. Actualmente son populares dos estrategias: o bien aumentar el volumen de conocimientos altamente especializados, como en GPQA o HLE, o bien adentrarse en la lógica abstracta en la línea de ARC-AGI. El primer enfoque tiene un problema: un resultado alto puede ser consecuencia de la memorización de hechos, no de una comprensión real. El segundo enfoque, por el contrario, separa el razonamiento del contexto práctico: estas tareas se parecen poco a aquello con lo que el modelo se enfrentará en la vida real.
El nuevo benchmark GIM (Grounded Integration Measure) propone un tercer camino. Sus autores consideran que la complejidad no debe surgir de la erudición ni de los acertijos, sino de la necesidad de emplear simultáneamente varias habilidades cognitivas diferentes sobre material de conocimiento público.
Cómo está estructurado GIM
El conjunto consta de 820 tareas originales: 615 abiertas para todos y 205 privadas, que permanecen ocultas para evitar el sobreajuste. Es importante que cada tarea sea una composición original, no una reelaboración de preguntas existentes.
La complejidad no se logra mediante hechos poco comunes, sino mediante la coordinación de operaciones. Por ejemplo, en una tarea el modelo puede necesitar simultáneamente:
- satisfacer varias restricciones;
- rastrear el estado cambiante de un proceso;
- mostrar vigilancia epistémica, es decir, comprender a qué fuentes y afirmaciones se puede confiar;
- adaptar la respuesta a una audiencia específica.
Además, todas las tareas se basan en conocimiento público: no se requiere que el modelo sea un experto en un área específica. El resultado es una prueba no de memoria, sino de la capacidad de reunir diferentes habilidades y aplicarlas en una situación realista.
Las respuestas se evalúan principalmente mediante rúbricas: el resultado se descompone en componentes individuales y cada componente se verifica de forma independiente. Esto reduce la probabilidad de que el modelo obtenga la puntuación completa por una respuesta parcialmente correcta.
Cómo se evaluaron los modelos
Los autores no se basaron simplemente en la proporción de respuestas correctas. En su lugar, utilizaron un modelo IRT continuo de dos parámetros, un método de la psicometría que tiene en cuenta tanto la capacidad del modelo como la dificultad de las tareas. El modelo se calibró en 53 configuraciones de prueba: pares únicos de «modelo × nivel de razonamiento». Para ello, se recurrió a cinco jueces especialmente calibrados.
En total, se obtuvieron más de un millón de observaciones brutas de los jueces, que luego se promediaron en 203 800 celdas. Este procedimiento proporciona estimaciones estables de capacidad que no se desmoronan debido a los sesgos típicos de la precisión bruta: la severidad o indulgencia de los jueces, los datos perdidos o los errores desiguales de los diferentes modelos. Las puntuaciones finales ordenan correctamente las configuraciones de prueba incluso en condiciones de tal ruido.
Sobre la base de estos cálculos, los autores elaboraron un leaderboard que incluye 22 modelos y 47 configuraciones de reporting oficiales.
El papel del tiempo para reflexionar
Por separado, los investigadores estudiaron cómo influye el presupuesto computacional durante la inferencia: el test-time compute. Este es el estudio publicado más extenso de este tipo sobre un benchmark fijo: incluyó 11 modelos y 35 configuraciones de prueba.
Los resultados fueron inesperados en gran medida gracias al diseño del experimento. Los ajustes dentro de una misma familia (por ejemplo, el presupuesto de tokens de razonamiento o la cuantización) influyen en el resultado no menos que la elección del propio modelo. Es decir, se puede tomar el mismo modelo, cambiar los parámetros de razonamiento y obtener una diferencia comparable a la de cambiar a otro modelo más potente.
Sin embargo, hay una limitación importante: aumentar el número de tokens de razonamiento produce rendimientos marginales decrecientes. Después de cierto umbral, los cálculos adicionales casi no mejoran la respuesta. Esto significa que aumentar infinitamente el «tiempo para pensar» no es eficiente: hay que buscar un equilibrio entre presupuesto y calidad.
Conclusiones
El artículo que describe GIM se publicó en arXiv en 2026 y se convirtió en un evento notable para la comunidad: 61 páginas, 27 figuras, 4 tablas. El código y los datos del benchmark son abiertos, por lo que cualquier investigador podrá ejecutar sus propios modelos y compararlos con los resultados publicados.
La idea principal de GIM no es hacer la prueba aún más difícil mediante hechos o abstracciones, sino acercar las tareas a la realidad, donde diferentes habilidades cognitivas trabajan juntas. Quizás sean precisamente estos benchmarks los que permitan evaluar no solo la «capacidad de memorizar» o la «capacidad de pensar lógicamente en el vacío», sino la utilidad práctica de los modelos en escenarios complejos.
