Audit de la confidentialité des modèles ouverts
Les poids publics sont pratiques, mais ils créent aussi un risque caché. Une entreprise peut prendre un modèle à poids ouverts et l'affiner sur sa base interne : correspondances, données médicales ou documents d'entreprise. L'utilisateur ne sait généralement pas quels enregistrements précis ont été inclus dans l'apprentissage, et pour les régulateurs comme pour les clients, c'est une question fondamentale. Le test d'« appartenance » à l'ensemble d'entraînement — l'inférence d'appartenance — répond précisément à cette question : peut-on déterminer, à partir du comportement du modèle, qu'un texte spécifique a été utilisé lors de l'adaptation.
La tâche est compliquée par le fait que nous ne disposons généralement que du point de contrôle après l'affinage et de la version ouverte du modèle avant celui-ci. En comparant les réactions des deux points de contrôle sur un même fragment, on peut tenter de séparer l'effet de l'affinage du comportement général du modèle.
Particularités des modèles de langage à diffusion
Les LLM classiques génèrent le texte token par token, de gauche à droite. Les modèles de langage à diffusion discrète (dLLM) fonctionnent différemment : ils sont capables de restaurer simultanément plusieurs positions masquées. Au lieu de prédictions séquentielles, le modèle reçoit en entrée un texte avec un ensemble arbitraire de masques et produit des probabilités pour tous les « trous » en un seul passage direct.
Cette capacité rend les dLLM particulièrement intéressants pour l'audit de confidentialité. Si l'on veut vérifier si le modèle se souvient d'un passage spécifique, on peut masquer une partie des tokens et observer la réaction. La question est cependant de savoir quelles positions masquer et comment interpréter la réponse.
Pourquoi la simple moyenne des masques ne fonctionne pas
La première intuition est d'essayer de nombreuses masques aléatoires différentes et de moyenner l'erreur de reconstruction. C'est exactement ainsi que fonctionne l'ancienne approche SAMA : le modèle est exécuté sur des dizaines de variantes aléatoires, puis le signal est moyenné.
Cette solution présente deux inconvénients. Premièrement, les masques aléatoires capturent souvent des positions « banales » que le modèle prédit à l'identique même sans affinage — le signal utile se noie dans le bruit. Deuxièmement, chaque exécution coûte des ressources : pour un seul échantillon, il faut des dizaines de passages dans le modèle, ce qui, à l'échelle d'un grand ensemble de données, devient une opération coûteuse. Il faut un moyen de choisir les masques de manière réfléchie, et non au hasard.
La confiance indique où masquer
Les auteurs du nouveau preprint ont proposé la méthode JUMP (Joint Uncertainty-Guided Mask Probing). L'idée est d'utiliser un modèle de référence — le point de contrôle avant l'affinage — comme « détecteur de mensonge ».
D'abord, le modèle de référence est exécuté sur le texte original et l'on identifie les positions où il est le moins confiant. On suppose que ce sont précisément ces endroits qui changent le plus lors de l'affinage : si une information spécifique circule à ces points, le modèle a dû l'apprendre. Ensuite, ces positions à faible confiance sont masquées toutes ensemble, et le modèle cible les reconstruit en une seule requête.
Ensuite, on compare l'écart entre les reconstructions du modèle cible et du modèle de référence. Pour ne pas tenir compte des écarts aléatoires, un écrêtage est appliqué : seules les différences dépassant un certain seuil sont incluses dans l'agrégation. Cet écart « tronqué » sépare mieux le vrai signal du bruit, et le masquage conjoint des positions informatives économise des calculs.
Résultats : moins de passages — une précision supérieure
Les auteurs ont mené leur vérification sur le benchmark MIMIR, qui couvre six domaines textuels. Deux modèles de diffusion à poids ouverts ont servi de sujets : LLaDA-8B-Base et Dream-v0-Base-7B.
En moyenne sur les domaines, la métrique ROC-AUC pour LLaDA est passée de 0,819 à 0,902, et pour Dream de 0,851 à 0,942. C'est un gain notable en précision d'attribution. De plus, JUMP ne nécessite que trois passages du modèle par échantillon, alors que SAMA en exige 32. Autrement dit, la méthode est non seulement plus précise, mais aussi environ dix fois moins coûteuse en nombre d'inférences.
Importance pratique
L'approche proposée montre que pour l'audit des modèles de diffusion affinés, il n'est pas nécessaire d'essayer des masques aveugles. Il suffit de demander au modèle de référence où sa confiance est insuffisante et de diriger la vérification précisément vers ces zones. Cela fournit un outil qui peut être utilisé lors de la publication de mises à jour de modèles à poids ouverts et pour vérifier le respect des exigences en matière de données personnelles.
Le travail est encore au stade de preprint — 22 pages, version actuelle v2 du 18 août 2026. Cependant, la formulation même du problème et les résultats solides laissent espérer une suite pour la méthode : une adaptation à d'autres types d'architectures de diffusion ou une robustesse face à des scénarios d'affinage plus agressifs.
