Pourquoi examiner les trajectoires des agents IA
Lorsqu'un agent résout une tâche, nous ne voyons généralement que le résultat : succès ou échec. Mais comment il a raisonné exactement, quelles étapes il a entreprises et où il a fait fausse route — tout cela reste invisible. Pour les chercheurs et les développeurs qui déboguent le comportement des agents, cette « boîte noire » est le principal problème. Il ne suffit pas de savoir que l'agent a échoué à la tâche ; il est important de comprendre à quelle étape cela s'est produit et quels schémas se répètent à chaque fois.
C'est précisément là qu'intervient l'analyse orientée processus. Au lieu d'évaluer uniquement le résultat final, elle examine toute la chaîne d'actions : pensées, observations, appels d'outils. Cette approche permet de comparer les exécutions réussies et échouées, de trouver les erreurs typiques et, au final, de rendre les agents plus prévisibles.
Qu'est-ce que Graphectory Viewer
Graphectory Viewer est un outil web conçu pour l'analyse interactive des trajectoires d'agents logiciels. Son objectif principal est de transformer des journaux d'exécution hétérogènes et disparates en graphes visuels qui reflètent non seulement la séquence des étapes, mais aussi leurs phases sémantiques. L'outil s'appuie sur la représentation Graphectory proposée précédemment par les auteurs et la développe en une interface complète pour la recherche.
L'idée clé est de relier les détails d'exécution de bas niveau — tokens individuels, appels de fonctions, résultats d'observations — à des structures comportementales de plus haut niveau. Par exemple, la chaîne « lire la tâche → planifier → exécuter l'action → vérifier le résultat » se transforme en un graphe où les transitions entre phases sont visibles. Cette approche aide à voir la vue d'ensemble sans perdre les détails.
Comment fonctionne l'analyse des trajectoires
Graphectory Viewer ne travaille pas avec un seul framework, mais prend en charge les trajectoires de plusieurs frameworks d'agents populaires. C'est important car, en pratique, les chercheurs utilisent souvent des piles technologiques différentes et ne veulent pas être liés à un format de journaux unique. L'outil prend les données brutes, les normalise et construit des graphes dits « phase-aware » — des graphes tenant compte des phases.
L'interactivité est un autre point fort. L'utilisateur peut :
- Inspecter les nœuds — voir le contenu des pensées, actions et observations directement dans le graphe ;
- Rechercher et filtrer — travailler avec de grandes collections de trajectoires, en sélectionnant uniquement les scénarios pertinents ;
- Construire des résumés de type Sankey — visualiser comment les agents passent d'une phase à l'autre dans la résolution de tâches.
Cette dernière fonctionnalité est particulièrement utile pour comparer les exécutions réussies et échouées. Sur le diagramme de flux, on voit où les trajectoires réussies divergent des impasses, et quelles transitions mènent le plus souvent à l'échec.
Exploration de grands corpus de trajectoires
Une trajectoire unique est déjà intéressante, mais la véritable valeur apparaît lors de l'analyse de grands volumes de données. Graphectory Viewer permet d'identifier des schémas comportementaux récurrents invisibles à l'œil nu. Par exemple, on peut découvrir que les agents sautent systématiquement l'étape de vérification du résultat ou terminent la tâche trop tôt.
Pour les chercheurs, cela signifie la possibilité d'aller au-delà des métriques finales. Au lieu de la question « combien de tâches ont été résolues avec succès ? », une question plus précise émerge : « quelles stratégies mènent au succès, et lesquelles à des erreurs systématiques ? ». Cela déplace le focus de l'évaluation vers la compréhension, ce qui est essentiel pour le développement de systèmes d'agents fiables.
Artéfact ouvert et reproductibilité
Il est important que le travail ne soit pas resté uniquement sur le papier. Les auteurs ont publié Graphectory Viewer comme un artéfact ouvert, accompagné de documentation, de graphes précalculés et d'un corpus de trajectoires à grande échelle. Cela signifie que toute personne intéressée peut non seulement voir la démonstration, mais aussi déployer l'outil chez elle, exécuter ses propres données et reproduire les résultats de l'article.
Cette approche établit une bonne norme pour les outils de recherche : il ne suffit pas de montrer une belle capture d'écran, il faut donner à la communauté la possibilité de vérifier et d'utiliser le développement. Le code et les données ouverts sont un pas vers la généralisation de l'analyse des trajectoires comme pratique standard, et non comme une action ponctuelle.
En résumé
Graphectory Viewer comble une lacune importante dans la boîte à outils pour travailler avec les agents IA. Il donne aux chercheurs et aux praticiens la possibilité non seulement d'observer le comportement des agents, mais aussi de l'analyser systématiquement. Les graphes interactifs, la prise en charge de différents frameworks et le travail avec de grands corpus rendent cet outil utile aussi bien pour le débogage d'exécutions individuelles que pour des recherches à grande échelle.
Peut-être que le plus précieux ici est le changement de perspective. Au lieu de la question « qu'a fait l'agent ? », nous pouvons enfin demander « comment et pourquoi l'a-t-il fait ? ». Et obtenir une réponse qui se voit à l'œil nu.
