Спектральная сводка на каждую страницу вместо общего скеча: LOCKS и отбор блоков без чтения ключей

20 сентября 202629 просмотров

Метод LOCKS хранит для каждой страницы контекста отдельное низкоранговое представление ключей, поэтому оценка важности блоков опирается только на эту сводку, а сами ключи-кандидаты не считываются. На длинных задачах такое решение удерживает качество вблизи полного кэша при обращении примерно к 2% токенов и заметном снижении задержки декодирования.

Спектральная сводка на каждую страницу вместо общего скеча: LOCKS и отбор блоков без чтения ключей

Почему общий скеч не работает для страниц

Обслуживание больших языковых моделей на длинном контексте упирается в key-value (KV) cache. Кэш читается целиком на каждом шаге декодирования. Attention keys являются locally low-rank, хотя globally high-rank. Фиксированный low-rank sketch, общий для страниц, доказуемо слеп к страничным направлениям.

При том же размере summary собственный базис страницы ранжирует страницы и сохраняет носители гораздо лучше. Общий скеч не видит эти направления. Покейный спектральный summary решает проблему.

Спектральная сводка на каждую страницу

LOCKS даёт каждой странице собственный rank-r spectral summary. Сводка резидентная: одна десятая кэша при r=8 и одна двадцать пятая при r=2. Метод реконструирует внутристраничные логиты. Он оценивает массу внимания каждой страницы через log-sum-exp. Затем обрабатывает только верхние страницы.

Ключевые элементы:

  • Название: Page-Local Compact Key Summaries for Efficient Long-Context Decoding.
  • Сводка: rank-r spectral summary для каждой страницы.
  • Резидентность: одна десятая кэша при r=8, одна двадцать пятая при r=2.
  • Реконструкция: внутристраничные логиты.
  • Оценка: масса внимания страницы через log-sum-exp.
  • Отбор: только верхние страницы.

Вывод: сводка занимает долю кэша, но сохраняет страничные признаки. Отбор страниц идёт по спектральным данным.

Отбор блоков без чтения ключей

Сам отбор не читает ключи или значения кандидатов. Выбор идёт только по спектральной сводке. Сводка сканируется полностью на каждом шаге. Чтение KV на шаг падает в 10–25 раз в указанном диапазоне рангов.

Задержка декодирования на токен уменьшается вдвое. При 1M токенов на одном H200 NVL ускорение составляет 2.0× при r=8. Это сравнение с плотным вниманием. Отбор не зависит от чтения ключей кандидатов.

Качество на длинных задачах

LOCKS сохраняет качество на нескольких типах задач. На long-document QA (LongBench-v1; Llama-3.1-8B) результат остаётся в пределах одного пункта от полного кэша. На retrieval-dense RULER метод следует точному LSE-оракулу, читающему каждый ключ, вплоть до самых малых бюджетов. На long-form reasoning (AIME26, MATH-500; Qwen3-4B) качество держится дальше всех в режиме малых бюджетов. Селекторы и компрессоры рассуждений на основе вытеснения там отступают.

При бюджете 2048 токенов LOCKS совпадает с агрегированным качеством FullKV на контексте 100K+ (GLM-4-9B-Chat-1M). При этом метод обрабатывает 2% токенов.

УсловиеРезультат
Long-document QA (LongBench-v1; Llama-3.1-8B)в пределах одного пункта от полного кэша
Retrieval-dense RULERследует точному LSE-оракулу до малых бюджетов
Long-form reasoning (AIME26, MATH-500; Qwen3-4B)держит качество дальше всех в малых бюджетах
2048-токенный бюджет, 100K+ контекст (GLM-4-9B-Chat-1M)совпадает с FullKV, обрабатывает 2% токенов

Вывод: на перечисленных задачах подход сохраняет качество дольше, чем селекторы и eviction-based компрессоры.

Внедрение и критерий выбора

Подход поставляется как drop-in плагин для немодифицированного vLLM. Пакетное декодирование работает в полных CUDA-графах. Модификация vLLM не требуется.

Критерий выбора: длинный контекст, ограниченный бюджет токенов, потребность снизить чтение KV и задержку декодирования. Если задача требует отбора блоков без чтения ключей кандидатов, подход подходит.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны
Новости

Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны

Работа проверяет, оправдано ли включение физических законов в обучаемые модели динамики: инварианты, извлечённые из траекторий и приведённые к каноническому виду через базисы Грёбнера, дают скромный выигрыш в прогнозах, но оказываются сильны в диагностике — они позволяют локализовать нарушенное ограничение и выявить конкретный ошибочный параметр.

10 ноября 2026
AURA-Eval: как проверить, что LLM-агент распознал риск и изменил следующий шаг
Новости

AURA-Eval: как проверить, что LLM-агент распознал риск и изменил следующий шаг

Фреймворк оценивает поведение LLM-агентов не по финальному вердикту, а по реакции на риск в ключевых точках: траектории вызовов инструментов прерываются, после чего модель должна продолжить рассуждение и действие, а панель LLM-судей разбирает обнаружение риска, характер и безопасность шага. На 1249 заданиях, собранных из 157 траекторий R-Judge, у 20 моделей небезопасные действия учащаются при отсутствии безопасного пути, а снятие надзора до выполнения переводит 52,3% изначально безопасных случаев в небезопасные.

10 ноября 2026
Память резервуара Черна — Саймонса: самостоятельная динамика связности и перенос плотности
Новости

Память резервуара Черна — Саймонса: самостоятельная динамика связности и перенос плотности

В статье разбирается, как резервуар сохраняет историю входных сигналов одновременно в распределении плотности и геометрических степенях свободы. Сравнение четырёх механизмов показывает, что ток создаёт отдельную компоненту связности, меняющую последующий отклик плотности, а учёт всех измеренных признаков даёт небольшой прирост в декодировании порядка импульсов.

10 ноября 2026
LOCKS: спектральная сводка для каждой страницы KV-кэша