Fractionnement des tokens dans les transformeurs multimodaux : quand l’attention préserve la contribution des représentations

Symétrie de raffinement : ce que vérifie le principe

Le nombre de poids d’attention dépend du nombre de tokens. Modifier la représentation du signal change ce nombre. Le découpage de l’entrée affecte donc le mécanisme d’attention.

L’article « Refinement Symmetry in Multimodal Transformers » (Yuhao Du, Shunian Chen) a été soumis le 26 septembre 2026. Il introduit la symétrie de raffinement comme condition de préservation de la contribution.

La séparation de la représentation préserve la contribution si quatre propriétés sont conservées :

• le contenu ;
• la position ;
• le contexte visible ;
• la masse totale.

Critère pratique : avant de modifier le découpage des tokens, vérifiez ces quatre propriétés. La perte d’une seule d’entre elles prive la contribution de toute garantie.

Linéarité du multiplicateur local de masse

Les auteurs s’appuient sur l’attention proportionnelle et l’attention par quadrature. Leur conclusion : l’invariance à la séparation exige un multiplicateur local de masse linéaire. Cette condition s’applique à tout noyau d’attention positif fixé. Le multiplicateur est également non décroissant.

Cette exigence entraîne trois vérifications :

• un multiplicateur non linéaire modifie la contribution lors du découpage ;
• la linéarité préserve la contribution ;
• la non-décroissance réduit l’éventail des schémas admissibles.

Critère pratique : vérifiez la linéarité du schéma de pondération avant le découpage. La non-linéarité annonce une modification du résultat.

Couplage physique et limites de l’erreur d’attention

Le couplage physique s’applique aux représentations modifiées. Il borne l’erreur d’attention. Cette borne distingue deux sources :

• la modification des caractéristiques ;
• la redistribution des poids.

Critère pratique : analysez les deux sources séparément. Vous verrez ainsi ce qu’il faut corriger : les caractéristiques ou les poids.

Évaluation sur Qwen2.5-Omni-7B : réponses sur MVBench

Dans Qwen2.5-Omni-7B, le triplement de la moitié des tokens visuels modifie 255 réponses sur 3 586 sur MVBench. C’est le résultat obtenu avec l’attention standard. La pondération par la mesure préserve chaque réponse. La visibilité reste comparable.

Conclusion : c’est la manière de prendre en compte la masse, et non le découpage en lui-même, qui crée l’écart.

Critère pratique : lorsque vous découpez les tokens visuels, passez à la pondération par la mesure. Elle préserve les réponses dans le même contexte visible.

Rééchantillonnage des images et dérive de la distribution

Lors du rééchantillonnage naturel des images, la pondération par la mesure réduit la dérive de la distribution. Son effet va au-delà de la préservation de réponses individuelles.

Critère pratique : lorsque vous modifiez la fréquence d’images, surveillez la dérive de la distribution, et pas seulement la précision. La pondération par la mesure la réduit.

Compression vidéo : gain mesuré

L’évaluation a été menée avec une fusion par deux d’un encodage vidéo gelé. Cinq valeurs initiales aléatoires ont été utilisées. Le gain de précision était positif pour tous les découpages.

L’avantage par rapport à la pondération globale par le nombre de tokens s’observe également sur WorldSense. Il dépend du budget de compression.

Critère pratique : en cas de forte compression vidéo, tenez compte du budget. Le gain de la pondération par la mesure n’est pas constant.

Ce qu’apporte le principe de représentation

Les auteurs présentent leur résultat comme un principe de représentation, assorti d’un gain mesuré en robustesse aux découpages. Il ne s’agit pas de corrections ponctuelles, mais d’une règle pour gérer le découpage.

Critère pratique : commencez par fixer la représentation et sa masse, puis ajustez les poids. Le découpage ne modifiera alors plus les réponses.