Les modèles qui travaillent simultanément avec des images et du texte ont appris à faire des choses impressionnantes : ils reconnaissent des objets, répondent à des questions sur des images et transfèrent leurs connaissances à de nouvelles tâches. Cependant, derrière ce succès se cache souvent une faiblesse peu évidente : le modèle ne mémorise pas les véritables propriétés de l'objet, mais des détails associés qui servent de « raccourcis ». L'ajustement adversarial des prompts est l'un des moyens de rendre les modèles plus robustes, mais il comporte aussi un piège. Voyons pourquoi le modèle apprend autre chose que ce qu'il devrait, et comment une nouvelle approche propose de séparer les indices utiles des indices trompeurs.
Pourquoi le modèle apprend autre chose que ce qu'il devrait
Lorsqu'on ajuste un modèle vision-langage sur des données bruitées ou avec des exemples adversariaux, il semble logique de s'attendre à ce que la robustesse augmente de manière uniforme. En pratique, c'est l'inverse : sur les classes déjà vues, le modèle montre d'excellents résultats, mais sur les nouvelles classes non vues, la qualité chute rapidement en présence d'attaques adversariales. Ce phénomène est appelé surapprentissage de la généralisation robuste.
La raison est que le modèle commence à s'appuyer sur des indices pseudo-robustes — des ensembles de régularités aléatoires qui survivent à l'attaque mais ne reflètent pas l'essence de l'objet. Par exemple, le modèle peut mémoriser la texture de l'arrière-plan, des ombres caractéristiques ou un bruit spécifique présent dans les exemples d'entraînement. Ces indices passent le test des perturbations adversariales, mais ne fonctionnent pas sur de nouvelles données. Le modèle surapprend non pas sur le contenu, mais sur des raccourcis — et plus l'entraînement est long, plus la dégradation sur les classes non vues est forte.
Comment séparer les indices : l'idée d'ADAPT
Les auteurs de la proposition partent d'une philosophie inhabituelle : au lieu d'apprendre au modèle uniquement les bons indices, il faut aussi lui apprendre explicitement ce qu'il ne doit pas apprendre. C'est ainsi qu'est né ADAPT (Adversarial Disentangled Prompt Tuning).
L'idée clé est d'utiliser deux types de prompts simultanément :
- Le prompt cible — responsable de faire ressortir les indices robustes et généralisables.
- Les prompts leurres — un pool spécial de prompts supplémentaires qui « absorbent » délibérément les régularités pseudo-robustes.
Pendant l'entraînement, les prompts leurres sont en compétition entre eux : chacun essaie de capturer un certain type de raccourcis aléatoires. Le prompt cible, quant à lui, est contraint d'être orthogonal aux leurres dans l'espace des plongements. Ainsi, les indices robustes sont séparés des indices trompeurs : ce que les leurres ont déjà « appris », le prompt cible ne peut pas l'utiliser.
Mécanique des prompts doubles
En pratique, cela ressemble à une division du travail. Les prompts leurres ne sont pas nécessaires pour la prédiction finale — leur rôle est de servir de « poubelle » pour les distorsions héritées. Le prompt cible, lui, est entraîné sous contrainte : son vecteur ne doit pas coïncider avec la direction des leurres. L'orthogonalité dans l'espace des plongements signifie que les indices utilisés par les leurres n'influencent pas la décision du prompt cible. En conséquence, le modèle est forcé de chercher des régularités plus profondes et causales.
Pourquoi la séparation fonctionne
L'orthogonalité n'est pas qu'un simple artifice technique, c'est un moyen d'apporter une garantie théorique. L'analyse de la méthode montre : une fonction de perte spéciale limite l'influence des décalages des indices pseudo-robustes sur les prédictions pour les classes non vues.
En bref : même si les leurres collectent beaucoup d'informations superflues, ces informations ne peuvent pas « fuir » vers le prompt cible. Par conséquent, les décalages de distribution des données qui se produisent lors du passage des classes vues aux classes non vues affectent moins l'erreur du modèle. Cette approche offre un comportement plus prévisible sur les exemples adversariaux et ne sacrifie pas la robustesse de certaines classes au profit d'autres.
Ce que les expériences ont montré
Les tests pratiques confirment : ADAPT améliore nettement la robustesse du prompt cible sur les classes non vues par rapport aux méthodes existantes d'ajustement adversarial. Le modèle ne se contente pas de mémoriser une protection contre des attaques spécifiques, il forme des indices plus propres qui fonctionnent sur de nouvelles données.
Bien sûr, il n'est pas encore possible d'éliminer complètement les faux schémas — la tâche de séparer causalité et corrélation reste l'une des plus difficiles en apprentissage automatique. Mais l'approche « apprendre ce qu'il ne faut pas apprendre » donne un repère pratique : parfois, la meilleure façon d'apprendre à un modèle est de lui montrer ce qu'il doit ignorer.
Le principal enseignement pour les praticiens : lors du réglage de modèles vision-langage, il faut surveiller non seulement l'augmentation de la précision sur les données d'entraînement, mais aussi les indices sur lesquels le modèle s'appuie. Si l'on ajoute au processus d'apprentissage des « pièges » pour les régularités aléatoires — par exemple via des prompts doubles avec orthogonalité — on peut obtenir un modèle non seulement plus fiable, mais aussi plus honnête.
