Des démos parfaites aux sites web réels
Les assistants navigateurs basés sur l'IA gèrent avec assurance les scénarios courts et simples : trouver un produit, passer une commande, remplir un formulaire. Mais dès qu'un tel agent se retrouve sur un vrai site — avec des chargements lents, des fenêtres contextuelles inattendues, une mise en page instable et des dizaines de clics intermédiaires — la donne change. En réalité, l'IA doit maintenir son objectif tout au long d'une longue chaîne d'actions, détecter ses propres erreurs et les corriger, tout en s'orientant dans des interfaces surchargées.
Qu'est-ce qu'un « scénario long » concrètement ? Ce n'est pas un clic, ni même dix : l'agent peut effectuer 30 à 40 étapes ou plus avant d'atteindre le résultat souhaité. Chaque étape dépend de la précédente, et une seule erreur peut réduire tous les efforts à néant. De plus, les pages web réelles changent constamment : la mise en page « flotte », de nouveaux éléments apparaissent, et les données sont chargées de manière asynchrone. Un modèle entraîné sur des démonstrations statiques se perd dans de telles conditions.
Le problème, c'est que la plupart des approches existantes sont entraînées sur des démonstrations simplifiées et ne sont pas conçues pour ce niveau de complexité. Un simple passage à l'échelle du modèle ne suffit pas ici : l'écart entre les conditions de laboratoire et le web réel exige de repenser l'ensemble du pipeline — de l'exécution des actions à l'évaluation finale.
Un framework unifié pour les horizons longs
C'est précisément cette tâche que s'est fixée l'équipe d'AIMAE en présentant Wuying-Browser-Agent — un framework open source qui couvre tous les niveaux de fonctionnement d'un agent navigateur. Plutôt que de se concentrer sur une seule partie, les auteurs ont aligné l'exécution, le contrôle, l'optimisation et l'évaluation.
Examinons chaque niveau plus en détail. L'exécution, c'est la façon dont l'agent interagit avec la page : il clique, saisit du texte, change d'onglet. Le contrôle, c'est l'observation des actions et l'intervention en temps utile si quelque chose tourne mal. L'optimisation, c'est le processus d'apprentissage qui ajuste le modèle sur des trajectoires réussies. Et enfin, l'évaluation, c'est la manière de mesurer dans quelle mesure l'agent accomplit ses tâches sur le web réel. Tous ces niveaux doivent fonctionner de manière cohérente, sinon le système s'effondre sur les longues distances.
Trois composants clés assurent le fonctionnement du système :
- Un harnais navigateur structuré — un ensemble de primitives stables pour exécuter les actions. Il offre à l'agent un environnement prévisible et aide à gérer le contexte en se concentrant sur la prise de décision. Au lieu de s'appuyer sur des sélecteurs peu fiables ou des timings aléatoires, l'agent reçoit des commandes claires qui sont exécutées de manière uniforme.
- RUIC-SFT — une méthode de réglage supervisé sur des trajectoires de récupération après erreur et des interactions avec des éléments d'interface complexes. Le modèle apprend non seulement sur des chaînes réussies, mais aussi sur la manière de sortir d'une impasse.
- DAO-GRPO — un algorithme d'optimisation qui améliore la répartition du « crédit » sur les horizons longs grâce à la mise en forme potentielle de la récompense et à la pondération des étapes par divergence. Chaque action est évaluée en fonction de sa contribution au résultat global, et non de manière isolée.
Cette approche permet au modèle non seulement d'exécuter des étapes parfaites, mais aussi de réagir aux perturbations réelles et de comprendre quelles actions le font réellement progresser vers son objectif. Le framework montre déjà que l'alignement du pipeline a un effet plus important qu'une simple augmentation de la taille du modèle.
BrowserBench : un test sur la longueur réelle
Comment vérifier qu'un agent est vraiment prêt pour le web réel ? Les benchmarks existants sont souvent trop courts et ne révèlent pas les défaillances caractéristiques sur les longues distances. Un test typique peut comporter 5 à 10 étapes, alors que dans la vie réelle, l'agent doit travailler beaucoup plus longtemps. C'est pourquoi l'équipe a créé le sien — BrowserBench. Il s'agit d'un ensemble bilingue de 350 tâches issues de sites réels, avec une longueur moyenne de scénario de près de 38 étapes.
Cette longueur est une différence fondamentale. Sur des tâches courtes, l'agent peut agir presque au hasard et obtenir quand même un bon résultat. Sur des tâches longues, en revanche, chaque erreur s'accumule, et sans une bonne répartition du « crédit », le système perd rapidement le cap. BrowserBench permet d'observer ces défaillances et de comprendre quels mécanismes précis doivent être améliorés.
Les résultats parlent d'eux-mêmes. Wuying-Browser-Agent, avec 27 milliards de paramètres, atteint 80,6 % sur WebVoyager, 66,7 % sur Online-Mind2Web et 65,1 % sur BrowserBench — un nouveau record open source sur les benchmarks d'utilisation du navigateur. Le même pipeline se transpose avec succès à d'autres domaines : un score moyen de 73,8 sur les ensembles Tau2-Bench, Claw-Eval et BFCL-v4.
Il est révélateur que le succès ne soit pas obtenu sur une seule tâche spécifique, mais sur plusieurs tests indépendants à la fois. Cela signifie que le framework assimile les principes généraux du travail avec les interfaces web, plutôt que de s'adapter à un benchmark particulier. Une bonne généralisation est le signe que l'agent comprend réellement ce qu'il fait, et non qu'il se contente de mémoriser des schémas.
Ce que cela signifie pour le développement des agents IA
La principale conclusion ne réside pas dans les chiffres précis, même s'ils sont impressionnants. Ce qui compte davantage, c'est l'approche : pour qu'un agent fonctionne dans le monde réel, il faut cesser de courir après des records isolés sur des démonstrations propres et construire plutôt tout le système autour de scénarios longs et complexes. Wuying-Browser-Agent montre que c'est réalisable, et ce, en open source — les chercheurs peuvent reproduire ses résultats et poursuivre son développement.
Cette approche a aussi une valeur pratique. Imaginez que vous deviez comparer les conditions sur une dizaine de sites, réserver des billets ou remplir un long formulaire. Aujourd'hui, il faut le faire manuellement, car aucun assistant ne peut maintenir le contexte aussi longtemps. Avec un framework comme Wuying-Browser-Agent, de telles tâches pourraient être automatisées dans un avenir proche.
Les agents navigateurs cessent d'être une expérience de laboratoire pour devenir un outil pratique. Il ne reste plus qu'à attendre que de tels systèmes apparaissent dans les navigateurs courants et prennent en charge les tâches routinières — des achats au remplissage de documents. Et, à en juger par ce framework, l'attente ne devrait pas être longue.
