Les agents Android autonomes basés sur de grands modèles de langage prennent de plus en plus en charge les actions routinières sur smartphone, de la réservation de tables aux échanges sur les messageries. Avec la croissance de leurs capacités, une nouvelle classe de menaces apparaît également. Ces agents analysent le contenu qui s'affiche à l'écran — or celui-ci n'est pas toujours fiable. Un attaquant peut dissimuler une instruction malveillante dans une interface d'application d'apparence banale, et l'agent l'exécutera, même si l'utilisateur ne l'a pas demandé. Pour vérifier systématiquement ces scénarios, les chercheurs ont présenté le benchmark MobileWorldSafety.
Pourquoi c'est important
Les agents GUI pilotés par LLM passent déjà des prototypes de laboratoire à une utilisation réelle. Mais contrairement aux programmes classiques, ils n'exécutent pas simplement des commandes : ils interprètent le contenu de l'écran. Cela les rend sensibles à l'injection dans l'environnement — une catégorie d'attaques incluant les injections indirectes de prompts et les instructions malveillantes intégrées à l'interface. L'agent peut percevoir une bannière publicitaire ou un post sur les réseaux sociaux comme une instruction à exécuter et, par exemple, transférer de l'argent ou publier des données privées.
Les tests existants pour les agents se concentrent généralement sur la fonctionnalité : l'agent a-t-il accompli la tâche, a-t-il correctement cliqué sur les boutons. Mais ils ne modélisent presque pas les scénarios quotidiens dans lesquels la sécurité de l'agent est compromise par un contexte utilisateur ordinaire. C'est précisément cette lacune que le nouveau benchmark tente de combler.
Ce qu'est MobileWorldSafety
Les auteurs du benchmark — Sujin Chen, Lijun Li, Tianyi Du et Jing Shao — ont publié une prépublication sur arXiv avec l'identifiant 2608.17659. L'ouvrage décrit 142 tâches à risque, déployées sur de véritables applications Android. Chaque tâche est conçue de manière à disposer d'un indicateur de risque vérifiable par programmation : l'état final du système permet de déterminer si une action non sécurisée a eu lieu.
La particularité de l'évaluation réside dans un pipeline en deux étapes. D'abord, une simple vérification par règles élimine les cas évidents : par exemple, si l'agent a envoyé un message à un numéro inconnu. Si le résultat est ambigu, un juge LLM entre en jeu. Cette approche permet de distinguer les défaillances de sécurité des défaillances fonctionnelles et de rendre l'évaluation reproductible.
Le benchmark ne se contente pas d'énumérer les vulnérabilités : il fournit une métrique — à quel point un contenu attaquant parvient à prendre le contrôle de l'agent.
Résultats : pour l'instant, préoccupant
Les chercheurs ont fait passer à MobileWorldSafety six agents différents — à la fois à usage général et spécialisés dans les tâches GUI. Les résultats ont montré que tous restent hautement vulnérables : les attaques réussissaient dans 40,4 % à 66,9 % des cas. Cela signifie que près d'un appel sur deux, voire un sur deux à deux sur trois, peut aboutir à une action indésirable.
La conclusion particulière de l'ouvrage est que les agents perdent souvent leur alignement de sécurité lorsque le contenu malveillant est présenté sous la forme d'un contexte mobile ordinaire. En d'autres termes, ils suivent bien les règles de sécurité dans les dialogues explicites, mais ne reconnaissent pas le danger au sein de l'interface.
Et ensuite
MobileWorldSafety n'a pas été créé uniquement comme un test, mais aussi comme un outil de développement : il permet de quantifier les vulnérabilités et de vérifier si les nouvelles versions d'agents deviennent plus robustes. Les auteurs espèrent que le benchmark deviendra un point de départ pour la recherche sur les agents GUI mobiles sécurisés.
En attendant, la conclusion est évidente : avant de confier aux agents des opérations sensibles sur le smartphone, il faut non seulement les former à la fonctionnalité, mais aussi les entraîner spécifiquement contre les attaques via l'environnement. Sinon, « l'assistant intelligent » risque de se transformer en outil pour l'attaquant, agissant au nom du propriétaire de l'appareil.
