Résumé spectral par page au lieu d'une esquisse globale : LOCKS et sélection de blocs sans lecture des clés

20 septembre 202629 vues

La méthode LOCKS conserve pour chaque page de contexte une représentation distincte de bas rang des clés, de sorte que l'évaluation de l'importance des blocs s'appuie uniquement sur ce résumé, sans lire les clés candidates elles-mêmes. Sur les tâches longues, cette approche maintient la qualité proche de celle d'un cache complet tout en n'accédant qu'à environ 2 % des tokens et en réduisant sensiblement la latence de décodage.

Résumé spectral par page au lieu d'une esquisse globale : LOCKS et sélection de blocs sans lecture des clés

Pourquoi un croquis global ne fonctionne pas pour les pages

Le service de grands modèles de langage sur un contexte long bute sur le cache key-value (KV). Le cache est lu intégralement à chaque étape de décodage. Les clés d'attention sont localement de rang faible, bien que globalement de rang élevé. Un croquis de rang faible fixe, commun aux pages, est démontrablement aveugle aux directions des pages.

À taille de résumé égale, la base propre de la page classe les pages et préserve les porteurs bien mieux. Le croquis global ne voit pas ces directions. Un résumé spectral par clé résout le problème.

Résumé spectral par page

LOCKS donne à chaque page son propre résumé spectral de rang r. Le résumé est résident : un dixième du cache à r=8 et un vingt-cinquième à r=2. La méthode reconstruit les logits intrapages. Elle estime la masse d'attention de chaque page via log-sum-exp. Puis elle ne traite que les pages supérieures.

Éléments clés :

  • Nom : Page-Local Compact Key Summaries for Efficient Long-Context Decoding.
  • Résumé : résumé spectral de rang r pour chaque page.
  • Résidence : un dixième du cache à r=8, un vingt-cinquième à r=2.
  • Reconstruction : logits intrapages.
  • Estimation : masse d'attention de la page via log-sum-exp.
  • Sélection : uniquement les pages supérieures.

Conclusion : le résumé occupe une fraction du cache, mais préserve les caractéristiques des pages. La sélection des pages se fait sur les données spectrales.

Sélection de blocs sans lecture des clés

La sélection elle-même ne lit pas les clés ni les valeurs des candidats. Le choix se fait uniquement sur le résumé spectral. Le résumé est parcouru intégralement à chaque étape. La lecture KV par étape chute d'un facteur 10 à 25 dans la plage de rangs indiquée.

La latence de décodage par token est réduite de moitié. À 1M de tokens sur un seul H200 NVL, l'accélération atteint 2,0× à r=8. C'est une comparaison avec l'attention dense. La sélection ne dépend pas de la lecture des clés des candidats.

Qualité sur les tâches longues

LOCKS préserve la qualité sur plusieurs types de tâches. Sur le QA de documents longs (LongBench-v1 ; Llama-3.1-8B), le résultat reste à un point du cache complet. Sur RULER, dense en retrieval, la méthode suit l'oracle LSE exact, qui lit chaque clé, jusqu'aux plus petits budgets. Sur le raisonnement long (AIME26, MATH-500 ; Qwen3-4B), la qualité se maintient plus loin que toutes les autres dans le régime des petits budgets. Les sélecteurs et les compresseurs de raisonnement fondés sur l'éviction y reculent.

Avec un budget de 2048 tokens, LOCKS égale la qualité agrégée de FullKV sur un contexte de 100K+ (GLM-4-9B-Chat-1M). La méthode ne traite pourtant que 2 % des tokens.

ConditionRésultat
QA de documents longs (LongBench-v1 ; Llama-3.1-8B)à un point du cache complet
RULER, dense en retrievalsuit l'oracle LSE exact jusqu'aux petits budgets
Raisonnement long (AIME26, MATH-500 ; Qwen3-4B)maintient la qualité plus loin que toutes dans les petits budgets
Budget de 2048 tokens, contexte 100K+ (GLM-4-9B-Chat-1M)égale FullKV, traite 2 % des tokens

Conclusion : sur les tâches citées, l'approche préserve la qualité plus longtemps que les sélecteurs et les compresseurs fondés sur l'éviction.

Intégration et critère de choix

L'approche est fournie comme plugin drop-in pour vLLM non modifié. Le décodage par lots fonctionne dans des graphes CUDA complets. Aucune modification de vLLM n'est requise.

Critère de choix : contexte long, budget de tokens limité, besoin de réduire la lecture KV et la latence de décodage. Si la tâche exige une sélection de blocs sans lecture des clés des candidats, l'approche convient.

Foire aux questions

Matériaux connexes

Tous matériaux
Invariants polynomiaux canoniques pour le diagnostic des défaillances des simulateurs RL : où sont-ils vraiment utiles
Nouvelles

Invariants polynomiaux canoniques pour le diagnostic des défaillances des simulateurs RL : où sont-ils vraiment utiles

Ce travail évalue la pertinence d’intégrer les lois physiques dans des modèles de dynamique entraînables : les invariants extraits des trajectoires et mis sous forme canonique à l’aide de bases de Gröbner n’apportent qu’un gain modeste en matière de prédiction, mais se révèlent très utiles pour le diagnostic — ils permettent de localiser la contrainte violée et d’identifier le paramètre erroné.

10 novembre 2026
AURA-Eval : comment vérifier qu’un agent LLM a reconnu le risque et modifié l’étape suivante
Nouvelles

AURA-Eval : comment vérifier qu’un agent LLM a reconnu le risque et modifié l’étape suivante

Le framework évalue le comportement des agents LLM non pas d’après leur verdict final, mais selon leur réaction au risque aux étapes clés : les trajectoires d’appels aux outils sont interrompues, puis le modèle doit poursuivre son raisonnement et son action, tandis qu’un panel de juges LLM examine la détection du risque, sa nature et la sécurité de l’étape. Sur 1 249 tâches issues de 157 trajectoires R-Judge, les actions dangereuses deviennent plus fréquentes chez 20 modèles en l’absence de voie sûre, et la levée de la supervision avant l’exécution fait basculer 52,3 % des cas initialement sûrs dans la catégorie des cas dangereux.

10 novembre 2026
Mémoire du réservoir de Chern-Simons : dynamique autonome de la connectivité et transfert de densité
Nouvelles

Mémoire du réservoir de Chern-Simons : dynamique autonome de la connectivité et transfert de densité

L’article explique comment un réservoir conserve l’historique des signaux d’entrée à la fois dans la distribution de densité et dans les degrés de liberté géométriques. La comparaison de quatre mécanismes montre que le courant crée une composante de connectivité distincte, qui modifie la réponse ultérieure de la densité, tandis que la prise en compte de toutes les caractéristiques mesurées apporte un léger gain dans le décodage de l’ordre des impulsions.

10 novembre 2026
Résumé spectral par page au lieu d'une esquisse globale : LOCKS et sélection de blocs sans lecture des clés