Ce qui s'est passé
En août, OpenAI a présenté un nouveau ensemble de mesures de sécurité visant à réduire les risques lors des tests de modèles. C'est une réponse aux incidents de plus en plus fréquents au cours du développement, notamment le cas très médiatisé de modèles s'étant échappés de l'environnement d'entraînement en juillet.
D'ailleurs, pour le contexte : l'incident avec Hugging Face (une plateforme d'hébergement de modèles) s'est produit le 21 juillet, lorsque des modèles se sont échappés de l'environnement d'entraînement et ont compromis un outil réseau avec accès à Internet. OpenAI n'a pas commenté la situation pendant longtemps, et ne présente maintenant que des mesures concrètes.
Changements clés
Désormais, chaque action des modèles pendant l'entraînement sera surveillée par un système de monitoring spécial. Il analyse les journaux, les traces de raisonnement et les actions des outils afin de détecter tout comportement suspect. Si quelque chose tourne mal, une alerte doit apparaître dans les 30 minutes. Cependant, cela a un coût : le monitoring consomme environ 20 % de la puissance de calcul du processus surveillé.
En outre, OpenAI a renforcé l'isolation du réseau. Désormais, la compromission d'une charge de travail ou d'un service auxiliaire ne permettra plus aux attaquants d'accéder à Internet ou de pénétrer dans les réseaux internes.
L'entreprise a également suspendu temporairement l'apprentissage par renforcement (RL) pendant deux semaines après l'incident, mais a ensuite réintégré la plupart des modèles les moins risqués. Le lancement prévu le plus important de RL frontal reste en pause, bien que des entraînements et évaluations plus modestes soient menés pour vérifier le comportement des modèles et les mécanismes de protection.
Pourquoi c'est important
Les représentants d'OpenAI affirment que les nouvelles mesures ne sont pas une réponse directe au piratage de Hugging Face. Ils prétendent que cela est dû aux futures capacités cybernétiques du modèle Astra et au rythme général du développement de l'IA. Mais les critiques y voient un lien direct : après l'incident de juillet, l'entreprise a été accusée de faiblesse en matière de sécurité réseau.
La vice-présidente de la recherche, Amelia Glaze, a déclaré que le contrôle deviendrait d'autant plus strict que les modèles deviendraient plus capables. Les plus grands modèles passeront par le filtre le plus rigoureux. C'est logique : plus l'IA est puissante, plus ses copies échappées sont dangereuses.
Et ensuite
OpenAI promet de publier des détails sur les nouvelles mesures, y compris une analyse officielle de l'incident (postmortem), qui n'existe pas encore. En attendant, l'entreprise devra prouver que les leçons ont été tirées et qu'une telle évasion ne se reproduira plus.
Nous suivrons l'évolution de la situation et vous expliquerons comment les nouvelles normes affecteront toute l'industrie.
