Por qué mirar dentro de las trayectorias de los agentes de IA
Cuando un agente resuelve una tarea, normalmente solo vemos el resultado: éxito o error. Pero cómo razonó exactamente, qué pasos dio y dónde se desvió — queda fuera de escena. Para investigadores y desarrolladores que depuran el comportamiento de los agentes, esta «caja negra» es el principal problema. No basta con saber que el agente falló en la tarea; es importante entender en qué etapa ocurrió y qué patrones se repiten una y otra vez.
Es aquí donde entra en juego el análisis orientado a procesos. En lugar de evaluar solo el resultado final, examina toda la cadena de acciones: pensamientos, observaciones, llamadas a herramientas. Este enfoque permite comparar ejecuciones exitosas y fallidas, encontrar errores típicos y, en última instancia, hacer que los agentes sean más predecibles.
Qué es Graphectory Viewer
Graphectory Viewer es una herramienta web creada para el análisis interactivo de trayectorias de agentes de software. Su objetivo principal es convertir registros de ejecución dispersos y heterogéneos en grafos visuales que reflejen no solo la secuencia de pasos, sino también sus fases semánticas. La herramienta se basa en la representación Graphectory, propuesta anteriormente por los autores, y la desarrolla hasta convertirla en una interfaz completa para la investigación.
La idea clave es vincular los detalles de bajo nivel de la ejecución — tokens individuales, llamadas a funciones, resultados de observaciones — con estructuras de comportamiento de nivel superior. Por ejemplo, la cadena «leer la tarea → planificar → ejecutar la acción → verificar el resultado» se convierte en un grafo donde se ven las transiciones entre fases. Este enfoque ayuda a ver el panorama general sin perder los detalles.
Cómo funciona el análisis de trayectorias
Graphectory Viewer no trabaja con un solo framework, sino que admite trayectorias de varios frameworks de agentes populares. Esto es importante porque, en la práctica, los investigadores suelen usar diferentes stacks y no quieren atarse a un único formato de registros. La herramienta toma los datos brutos, los normaliza y construye los llamados grafos phase-aware — grafos que tienen en cuenta las fases.
La interactividad es otra de sus grandes fortalezas. El usuario puede:
- Inspeccionar nodos — ver el contenido de pensamientos, acciones y observaciones directamente en el grafo;
- Buscar y filtrar — trabajar con grandes colecciones de trayectorias, seleccionando solo los escenarios necesarios;
- Construir resúmenes tipo Sankey — visualizar cómo los agentes transitan entre fases de resolución de tareas.
Esta última capacidad es especialmente útil al comparar ejecuciones exitosas y fallidas. En el diagrama de flujos se ve dónde divergen las trayectorias exitosas de las que llegan a un callejón sin salida, y qué transiciones conducen con más frecuencia al fracaso.
Investigación de grandes corpus de trayectorias
Una trayectoria individual ya es interesante, pero el verdadero valor aparece al analizar grandes volúmenes de datos. Graphectory Viewer permite identificar patrones de comportamiento recurrentes que a simple vista no se aprecian. Por ejemplo, se puede descubrir que los agentes omiten sistemáticamente la etapa de verificación de resultados o que finalizan la tarea demasiado pronto.
Para los investigadores, esto significa la posibilidad de ir más allá de las métricas finales. En lugar de la pregunta «¿cuántas tareas se resolvieron con éxito?», surge una más precisa: «¿qué estrategias conducen al éxito y cuáles a errores sistemáticos?». Esto desplaza el foco de la evaluación a la comprensión, algo fundamental para el desarrollo de sistemas de agentes fiables.
Artefacto abierto y reproducibilidad
Es importante que el trabajo no se haya quedado solo en el papel. Los autores publicaron Graphectory Viewer como un artefacto abierto junto con documentación, grafos precalculados y un corpus de trayectorias a gran escala. Esto significa que cualquiera puede no solo ver la demostración, sino también desplegar la herramienta en su propio entorno, ejecutar sus propios datos y reproducir los resultados del artículo.
Este enfoque marca un buen estándar para las herramientas de investigación: no basta con mostrar una captura de pantalla bonita, hay que dar a la comunidad la posibilidad de verificar y utilizar el desarrollo. El código y los datos abiertos son un paso para que el análisis de trayectorias se convierta en una práctica estándar y no en una acción puntual.
Qué se obtiene al final
Graphectory Viewer cubre una brecha importante en el conjunto de herramientas para trabajar con agentes de IA. Ofrece a investigadores y profesionales la posibilidad no solo de observar el comportamiento de los agentes, sino de analizarlo sistemáticamente. Los grafos interactivos, el soporte de diferentes frameworks y el trabajo con grandes corpus hacen que esta herramienta sea útil tanto para depurar ejecuciones individuales como para investigaciones a gran escala.
Quizás lo más valioso aquí sea el cambio de perspectiva. En lugar de la pregunta «¿qué hizo el agente?», por fin podemos preguntar «¿cómo y por qué lo hizo?». Y obtener una respuesta que se ve con los ojos.
