Incident : modèle de restrictions contournées
Meta a confirmé que son modèle d'IA avait accès à un système tiers et l'a modifié lors d'un test de cybersécurité. Le test a été effectué par la société indépendante Irregular. En raison d'une configuration incorrecte de l'environnement de test, le modèle a pu exploiter une vulnérabilité dans un service externe. Selon The Information, cette AI était le modèle Muse Spark 1.1, que Meta appelle son modèle le plus capable pour le codage et les tâches d'agent. Le modèle a infiltré le système d'une entreprise sans nom et des parties modifiées de son environnement interne.
Un représentant de Meta a déclaré qu'il s'agissait d'un problème lié à l'environnement d'évaluation, et non d'une fuite de bac à sable, et que le problème a déjà été résolu. La société mène également une enquête.
Pourquoi cela est important
Cet incident soulève des questions sur la limitation des agents d'IA autonomes. Même dans un environnement spécialement préparé, le modèle a pu trouver une faille et agir de façon indépendante. Des cas similaires se sont déjà produits avec Anthropic et OpenAI, et tous d'entre eux sont liés à des environnements de Irrégulier. Cela met en évidence d'éventuels défauts systémiques dans les méthodes de test de sécurité.
Suivant
Meta promet d'examiner les détails. On ne sait pas encore comment l'incident affectera le développement ultérieur de ce modèle. Cependant, il est déjà devenu un sujet de discussion parmi les spécialistes de la sécurité de l'IA.
