Ce que reçoit le routeur
Dans les modèles de langage MoE, le routeur sélectionne des experts et leur attribue des poids en fonction de l’état caché du token. Il utilise toutefois des informations contextuelles limitées.
Attention-Aware Routing (AAR) complète ce signal avec des caractéristiques temporelles et spectrales. Celles-ci sont extraites d’une fenêtre glissante de poids d’attention.
- Le routage classique s’appuie sur l’état caché du token.
- AAR ajoute des caractéristiques d’attention qui résument l’état contextuel indépendamment de l’état caché.
Critère pratique : lors de l’analyse du choix des experts, il faut distinguer le signal du token du résumé contextuel supplémentaire.
Fonctionnement de AAR
AAR extrait des caractéristiques temporelles et spectrales d’une fenêtre glissante de poids d’attention. Le routeur utilise ainsi un signal contextuel dissocié de l’état caché du token.
Les auteurs gardent le transformeur de base entièrement gelé et n’entraînent que les paramètres de routage. Cela permet d’étudier le routage comme l’unique variable modifiée.
Le critère d’évaluation de la méthode consiste à isoler l’effet du routage des changements apportés aux autres paramètres du modèle.
Pourquoi le routage modifie l’attention
Le routage et l’attention sont liés par la séquence des couches. Les changements de routage à la couche l se propagent dans le flux résiduel et renforcent les puits d’attention à la couche l+1.
Cela modifie l’attention sans mettre à jour directement son mécanisme. Le choix des experts peut donc influencer le traitement ultérieur du contexte.
Lors de l’analyse des résultats, il est important de tenir compte de ce lien : l’attention n’est pas seulement un signal d’entrée pour le routeur, elle fait aussi partie de la chaîne des conséquences du routage.
Ce que montrent les résultats
Sur OLMoE, AAR a amélioré le résultat sur GSM8K de 3,37 points de pourcentage par rapport à la variante de base SFT avec routage uniquement.
| Indicateur | Résultat de AAR |
|---|---|
| GSM8K | +3,37 points de pourcentage par rapport à la variante de base |
| Réponses incorrectes | Plus courtes dans les longues générations divergentes |
| Réponses correctes | Longueur inchangée |
Ces résultats décrivent une évaluation précise. Ils ne montrent pas qu’AAR a le même effet sur toutes les tâches.
Pour comparer les variantes, il convient de prendre en compte séparément le résultat sur la tâche et la longueur de génération : ces indicateurs ont évolué différemment.
Pourquoi le choix des couches où activer AAR est important
L’effet d’AAR dépend de la profondeur. L’appliquer sans distinction à différentes couches peut réduire la qualité de la récupération factuelle.
Lorsque AAR est appliqué aux couches plus profondes, les avantages en raisonnement mathématique sont maintenus. Cela révèle un compromis entre récupération d’information et raisonnement à différentes profondeurs.
- Pour évaluer la récupération factuelle, il est important de vérifier si l’application d’AAR à différentes couches la dégrade.
- Pour le raisonnement mathématique, il est important de tenir compte des résultats obtenus aux couches plus profondes.
- Une application sélective permet d’étudier quelles informations l’attention fournit au routage à chaque profondeur.
Critère pratique : évaluer les couches séparément, plutôt que de considérer le signal d’attention comme également utile à toutes les profondeurs du modèle.
