Ce que FinSkillBench évalue et pourquoi
En comparant les agents IA pour la gestion d'investissements, il est facile de se laisser emporter par le choix du modèle de langage : plus de paramètres, une architecture plus récente, de meilleurs résultats aux tests standards. Mais FinSkillBench propose d'aborder le problème sous un autre angle : dans quelle mesure l'agent maîtrise-t-il les compétences procédurales financières — les instructions étape par étape et les composants exécutables qui transforment les connaissances en action.
Le benchmark couvre trois domaines clés du travail d'investissement :
- la construction de portefeuille
- la gestion des risques
- l'analyse fondamentale
Au sein de ces domaines, les auteurs ont rassemblé 12 sous-tâches et 2603 épisodes. Chaque épisode est une tâche avec des données à un moment précis, une réponse correcte cachée et un énoncé que l'agent doit transformer en action. Autrement dit, ce n'est pas la mémoire du modèle qui est testée, mais sa capacité à appliquer la bonne procédure au bon moment.
Trois modes de fonctionnement de l'agent
Pour comprendre ce qu'apporte réellement une compétence, les auteurs ont comparé trois variantes de comportement de l'agent.
- Sans compétences. Le modèle résout la tâche avec ses seules connaissances, sans indices externes sur la marche à suivre.
- Avec des compétences organisées. L'agent reçoit un ensemble de documents procéduraux et de composants exécutables sélectionnés par des experts. C'est en réalité une bibliothèque d'actions prête à l'emploi : règles, formules, algorithmes.
- Avec des compétences auto-générées. L'agent rédige ses propres procédures au fil de la résolution et tente de les réutiliser dans le cadre du même épisode.
La question clé était de savoir si des procédures bien préparées compensent les limites du modèle — ou si un modèle intelligent est capable de s'en sortir seul.
Les résultats se sont avérés révélateurs. Sur neuf modèles, l'ajout de compétences organisées a régulièrement amélioré les scores finaux : le résultat moyen est passé de 0.366 à 0.528. L'effet a été le plus marqué dans la construction de portefeuille et la gestion des risques — là où la séquence d'actions et les règles explicites sont importantes.
L'auto-génération n'apporte presque rien
L'intuition suggère : laissez le modèle créer ses propres procédures — et il s'adaptera mieux à la tâche qu'avec des modèles externes. L'expérience ne l'a pas confirmé. Les compétences auto-générées n'ont apporté qu'une amélioration marginale, tout en exigeant nettement plus de ressources de calcul. L'agent passait du temps à créer et réécrire des procédures, mais le résultat changeait à peine.
L'auto-génération naïve ressemble à la réinvention de la roue à chaque tâche : coûteuse et sans garantie de qualité. Une compétence procédurale prête et éprouvée s'avère plus fiable que la tentative du modèle de dériver une méthode à partir de zéro à chaque fois.
Reproductibilité sur un autre framework
N'importe quel benchmark peut être « ajusté » à un environnement spécifique. C'est pourquoi les auteurs ont également exécuté l'évaluation sur un framework d'agents indépendant Hermes Agent : 8 modèles, 5280 épisodes, les mêmes trois domaines. La tendance générale s'est confirmée — les compétences prêtes à l'emploi améliorent le travail des agents dans toutes les directions.
Cependant, l'ampleur de l'effet s'est avérée inégale : elle dépendait à la fois de la sous-tâche et de la structure du « pipeline » de l'agent. C'est une réserve importante : les compétences ne sont pas un bouton magique, mais elles offrent un avantage systématique.
Conclusion pour ceux qui construisent des agents d'investissement
La principale leçon pratique de l'étude : dans la gestion d'investissements, l'accès à des compétences procédurales fiables peut être tout aussi important que le choix du modèle de base. Si un agent dispose d'une procédure claire et sait la suivre, il réussit souvent mieux qu'un modèle plus puissant qui agit à l'aveugle.
Pour les équipes produit, cela signifie qu'il ne faut pas investir tous les efforts uniquement dans la sélection du modèle. Il convient de se concentrer sur la constitution d'une bibliothèque de procédures financières éprouvées : comment recalculer les parts d'un portefeuille, comment intégrer le facteur de risque, comment analyser les états financiers. Les auteurs soulignent séparément : les procédures doivent être organisées, et non créées à la volée par l'agent.
Dernier détail : les auteurs ont ouvert à la fois le benchmark lui-même, les outils d'évaluation, les ensembles de compétences organisées et les trajectoires complètes des actions des agents. Cela permet de reproduire les résultats et de développer ses propres systèmes d'agents sans tout construire à partir de zéro.
