Les humains, principal défi des algorithmes de navigation
Les robots se retrouvent de plus en plus dans des espaces où ils doivent partager la route avec des personnes : magasins, hôpitaux, rues urbaines. La capacité d'interpréter correctement les commandes tout en respectant l'espace personnel des passants devient cruciale. Cependant, la plupart des approches existantes de navigation par instructions linguistiques (Vision-and-Language Navigation, VLN) ont été testées dans des conditions où les piétons sont soit totalement absents, soit leur comportement est simplifié à l'extrême. Cela conduit à ce que même des agents avancés se perdent dans des environnements réels.
Les chercheurs ont attiré l'attention sur cet écart et ont présenté un nouveau benchmark open source — HA-VLN 2.0. Il est conçu pour tester la capacité d'un robot à exécuter simultanément des commandes de navigation et à adopter un comportement socialement acceptable : contourner les personnes, éviter les collisions, respecter les distances.
Des cartes discrètes aux rues vivantes
Les benchmarks VLN traditionnels se divisaient en deux catégories : discrets et continus. Dans le premier cas, l'agent se déplace entre des points prédéfinis sans se soucier de la fluidité du mouvement. Dans le second, un espace libre apparaît, mais dans la plupart des scénarios, il reste statique : les passants ne bougent pas ou sont à peine pris en compte. Or, dans la réalité, les gens marchent constamment en sens inverse, changent de trajectoire, interagissent entre eux.
Les auteurs de l'article ArXiv:2503.14229 (accepté à IROS 2026) proposent une approche unifiée : HA-VLN 2.0 combine les environnements discrets et continus, en y ajoutant des contraintes sociales explicites. Autrement dit, avant d'évaluer la précision de l'itinéraire, on vérifie si l'agent n'a pas violé l'espace personnel d'une personne. Cette formulation du problème est nettement plus proche des conditions dans lesquelles les robots devront réellement travailler.
L'article, qui compte 35 pages et 20 figures, décrit en détail à la fois l'architecture du benchmark et les résultats obtenus. Douze auteurs issus de laboratoires académiques et industriels ont travaillé sur le projet, dont des chercheurs de l'Université Carnegie Mellon (Alexander G. Hauptmann) et d'autres institutions.
HA-VLN 2.0 : une norme unifiée pour la navigation sociale
Le nouveau benchmark comprend plusieurs composants clés. Premièrement, des métriques standardisées qui mesurent simultanément la précision de l'atteinte de l'objectif et le degré de respect de l'espace personnel. Une métrique simple comme le « pourcentage d'épisodes réussis » est ici complétée par des pénalités pour intrusion dans la zone de confort des piétons.
Deuxièmement, les chercheurs ont créé un dataset mis à jour, HAPS 2.0, ainsi que des simulateurs modélisant l'interaction avec plusieurs personnes à la fois. Non seulement les espaces clos sont pris en compte, mais aussi les espaces ouverts, ainsi qu'un alignement plus précis du langage avec les gestes et les mouvements. Cela permet de tester les agents dans des conditions proches des scénarios urbains réels.
Pour vérifier la fiabilité de l'approche, les auteurs ont mené des benchmarks sur 16 844 instructions socialement fondées. Un tel nombre d'exemples permet d'évaluer de manière fiable le comportement des algorithmes dans différentes situations. Il est souligné séparément que le benchmark est publié avec les datasets, simulateurs, baselines et protocoles — tout ce qui est nécessaire pour reproduire les expériences.
Ce que les tests ont montré : la conscience sociale fait la différence
Le benchmark a révélé un problème sérieux : les performances des principaux agents de navigation chutent brutalement lorsque la dynamique des personnes et l'observabilité partielle sont ajoutées. Les agents qui excellent dans les environnements statiques commencent à entrer en collision avec les piétons ou se retrouvent dans des impasses lorsque ceux-ci apparaissent soudainement dans leur champ de vision.
Les expériences ont montré que la modélisation sociale explicite apporte des avantages tangibles. Si l'agent est préalablement entraîné à tenir compte de la présence des personnes et à prédire leurs mouvements, la robustesse de la navigation s'améliore et le nombre de collisions diminue. Cela confirme la nécessité d'approches centrées sur l'humain plutôt que la simple recherche du chemin le plus court.
Il est important de noter que les conclusions ont été vérifiées non seulement en simulation. Les auteurs ont mené des tests sur un robot réel, qui ont confirmé le transfert des résultats de l'environnement virtuel au monde physique. Ce passage de la simulation à la réalité est une condition indispensable pour l'application pratique, et HA-VLN 2.0 propose l'infrastructure nécessaire pour le vérifier.
Un écosystème ouvert pour le développement de la robotique
L'un des aspects importants du projet est son ouverture. Avec l'article sont publiés non seulement des descriptions, mais aussi des outils fonctionnels : datasets, simulateurs, codes des algorithmes de base et protocoles d'apprentissage. De plus, un tableau de classement a été créé, où les équipes peuvent comparer leurs agents de navigation dans des conditions transparentes. C'est particulièrement précieux, car cela permet de suivre les progrès dans le domaine de la navigation sociale et d'éviter des résultats gonflés sur des ensembles de test fermés.
Le développement de tels benchmarks est une étape importante pour que les robots cessent d'être des jouets de laboratoire et apprennent à coexister en toute sécurité avec les humains dans la vie réelle. Les nouvelles métriques et simulateurs poussent la communauté vers des recherches axées sur une plus grande conscience sociale, et non seulement sur la précision technique.
À l'avenir, on peut s'attendre à une extension des scénarios : des conditions météorologiques plus complexes, différents types de piétons et des modalités supplémentaires dans les instructions. Mais dès maintenant, HA-VLN 2.0 établit une nouvelle norme pour l'évaluation des algorithmes de navigation orientés vers l'interaction avec la société.
