Pasó el tiempo en que los agentes de IA se evaluaban solo por el resultado final. Los sistemas modernos actúan paso a paso en un entorno cambiante, se plantean tareas intermedias, reaccionan a la retroalimentación y revisan su propio comportamiento. Esto los acerca más a los seres vivos que a los programas comunes y, por lo tanto, deben probarse de otra manera. Los autores de un artículo de opinión aceptado para su publicación en ICML 2026 llaman a estos sistemas «conductuales» y proponen probarlos no por el hecho de completar la tarea, sino por todo el proceso de acciones.
El resultado no cuenta cómo actuó exactamente el agente
Si el criterio es uno solo —hecho o no hecho—, fuera de los límites de la evaluación quedan demasiados detalles importantes. Por ejemplo, un agente puede llegar exitosamente a la meta por la misma trayectoria, pero por razones completamente diferentes: en un caso realmente construyó un plan, y en el otro simplemente memorizó la secuencia de acciones durante la etapa de entrenamiento. El resultado final es el mismo, pero las capacidades son fundamentalmente distintas.
Muchos problemas prácticos con la IA se ven exactamente así. El sistema muestra una alta precisión en las pruebas, pero en la realidad demuestra un comportamiento no deseado: busca «lagunas» en las reglas, se basa en señales triviales o actúa de forma arriesgada solo porque así logró obtener la métrica necesaria. El análisis de los resultados guarda silencio al respecto. El análisis del comportamiento, al contrario.
Los psicólogos y zoólogos hace tiempo se enfrentaron a un problema similar. Si un animal entrenado ejecuta una orden, eso no significa aún que comprenda el significado de la orden; una reacción aprendida y un comportamiento real se ven igual desde fuera. Para distinguirlos, los científicos no miran el hecho de que se realice el truco: observan el proceso, intentan cambiar las condiciones, introducen interferencias y observan cómo reacciona el sistema. Los agentes de IA merecen el mismo enfoque.
La evaluación conductual comienza con la observación
La idea clave del enfoque propuesto es tratar al agente de IA como un sistema conductual. Esto significa que el investigador no solo verifica las respuestas finales, sino que también estudia sistemáticamente las elecciones del agente en diferentes circunstancias. No hay que preguntarse «¿qué hace el agente?», sino observar y hacerse preguntas como «¿qué estrategias implementa al hacerlo?», «¿por qué se eligió una acción y no otra?», «¿cómo reaccionará el agente a una condición nueva que no estaba en el entrenamiento?».
En este modelo, la evaluación se convierte en un ciclo de tres pasos:
- Observación. Se registra la secuencia de decisiones del agente, su trayectoria de movimiento o la secuencia de interacciones con el entorno. Es importante obtener no solo el hecho del éxito, sino una imagen completa de las acciones.
- Perturbación. Se introducen cambios en las condiciones habituales: otras posiciones iniciales, ruido aleatorio, nuevos objetos, limitación de tiempo o recursos. Este método obliga al sistema a mostrar sus verdaderas estrategias.
- Interpretación. Con base en los datos obtenidos, el investigador construye una hipótesis sobre qué mecanismo o heurística controla al agente. La hipótesis se puede verificar con una nueva perturbación del entorno.
Este enfoque acerca el desarrollo de la IA a las ciencias del comportamiento, donde es precisamente por la reacción a los cambios del entorno que se juzgan los procesos internos.
Cómo entender qué hay detrás de las acciones del agente
Los autores del informe proponen tres direcciones concretas que formarán la base de un nuevo programa de investigación. La primera es la reconstrucción de las estrategias de toma de decisiones a partir de las secuencias de acciones. Si el agente fue entrenado, sus acciones deben dejar «rastros» en forma de la frecuencia de elección de ciertos estados, la preferencia por caminos cortos, la evitación de zonas peligrosas, etc. A partir de estos rastros se puede reconstruir la estrategia, incluso si el algoritmo en sí está oculto.
La segunda es el diseño de entornos que permitan separar un comportamiento de otro. Es como en psicología crear una prueba donde los sujetos con diferentes motivaciones den reacciones distintas ante el mismo estímulo. Por ejemplo, dos sistemas pueden resolver igual de bien una tarea de navegación en condiciones normales, pero al cambiar el mapa, uno se confundirá de inmediato y el otro comenzará a explorar nuevas rutas. Un entorno que revela tales diferencias es el verdadero campo de pruebas conductual.
La tercera dirección es el estudio de los sistemas multiagente, donde es importante no solo el comportamiento de un agente individual, sino también la dinámica de las interacciones. En los grupos surgen fenómenos que no se ven a nivel de un acto individual: coordinación, rivalidad o emergencia inesperada. Cuando dos agentes comienzan a influirse mutuamente, se necesitan experimentos conductuales, no solo la comparación de respuestas con un estándar. Se necesita una ciencia del comportamiento de la IA que describa cómo surge el comportamiento colectivo a partir de las interacciones locales.
El resultado final es solo una parte del panorama general
El enfoque de «el resultado importa más que el proceso» parecía razonable cuando los sistemas eran simples y se podían deducir directamente sus capacidades a partir de la respuesta. Pero los agentes modernos aprenden, se adaptan e interactúan, por lo que su comportamiento es más complejo y puede contener patrones peligrosos o no deseados. La evaluación solo por el resultado no lo nota, lo cual es especialmente peligroso al implementar la IA en áreas sensibles: medicina, transporte, finanzas.
Por eso el informe propone tomar como modelo la investigación en biología y psicología. Si a una rana en un experimento se le llama sistema conductual, entonces para estudiarla se necesitan la observación y la intervención. Lo mismo debe aplicarse al agente de IA como sistema conductual. Además, este trabajo debe ser sistemático: se necesitan estándares de pruebas conductuales, herramientas para registrar decisiones y métodos para interpretar grandes secuencias de acciones. No es una sola tarea, sino todo un programa.
Pasamos de las métricas a la comprensión
Desplazar el enfoque del resultado al comportamiento no es un rechazo de los números. El error final o la precisión siguen siendo útiles como resumen general. Pero para los sistemas responsables esto no es suficiente. Si queremos predecir cómo se comportará un agente en una situación nueva, si manejará cambios inesperados y si no encontrará una «laguna sucia» en las reglas, debemos observar las acciones en escenarios reales y creados especialmente.
La hoja de ruta propuesta por los investigadores es un paso hacia la formación de una ciencia completa del comportamiento de la IA. El objetivo final no es que el agente dé respuestas correctas con la mayor frecuencia posible, sino que comprendamos cómo lo hace, cuándo su comportamiento es realmente inteligente y cuándo es solo un ajuste a la métrica. Evaluar a los agentes por su comportamiento permitirá detectar estrategias no deseadas en etapas tempranas y construir sistemas en los que se pueda confiar en un mundo dinámico y en constante cambio.
