MaRK: контекстная модуляция рекуррентных параметров в предобученных SSM

14 ноября 20262 просмотров

Предложен подход, который подстраивает рекуррентный оператор замороженной модели пространства состояний под контекст через низкоранговые изменения параметров, влияя на ядро «вход—выход» на каждом шаге генерации. Сравнение трёх геометрий адаптеров показывает преимущество полиномов Чебышёва по ошибке валидации, а ограниченная параметризация допускает аналитическую проверку устойчивости.

MaRK: контекстная модуляция рекуррентных параметров в предобученных SSM

Задача и суть MaRK

MaRK (Markov-adapted Recurrent Kernels) — фреймворк динамического кондиционирования операторов. Он отображает контекстные векторы в ограниченные модуляции операторов рекуррентности.

  • В представлении LPV-SSM MaRK задаёт индексируемое контекстом семейство последовательностей параметров Маркова.
  • Подход рассчитан на предобученные SSM.
  • Обычные механизмы кондиционирования оставляют базовую временную динамику неизменной. К ним относятся подача информации на вход и модуляция активаций.

Практический критерий: MaRK нужен, когда требуется менять временную динамику SSM, а не только входные данные или активации.

Какие параметры SSM модулируются

MaRK модулирует пять групп параметров замороженной SSM:

  • A — рекуррентность;
  • B — считывание на входе;
  • C — считывание на выходе;
  • D — пропуск;
  • Δ — дискретизация.

Практический критерий: MaRK меняет A, B, C, D и Δ. Если задача требует изменять эти параметры, подход покрывает их.

Адаптеры и обучение на замороженной базе

MaRK опирается на замороженную базовую модель Hydra SSM с 111 млн параметров. Исследование охватывает три геометрии адаптеров:

  • Hypernet;
  • полиномы Chebyshev;
  • ядра Discrete Cosine Transform (DCT).

Адаптеры изменяют последовательность параметров Маркова через вспомогательные отображения низкого ранга. Базовая модель остаётся замороженной.

Переход от двунаправленной целевой функции к режиму итеративной диффузии требует 6,3–11 млн обучаемых вспомогательных параметров. Практический критерий: обучать нужно только вспомогательные отображения, а базовую SSM оставлять замороженной.

Результаты экспериментов и выбор геометрии

В синтетических экспериментах по восстановлению LPV и диагностике операторов Маркова MaRK восстанавливает координатно-инвариантные временные операторы при совпадающих предположениях. Метод формирует различные стабильные профили памяти, обусловленные шагом времени.

Геометрия адаптераValidation loss
Chebyshev2.55
DCT2.59
Hypernet3.77

Лучший validation loss среди трёх вариантов — 2.55 у Chebyshev. DCT показал 2.59, Hypernet — 3.77. Практический критерий: если ориентироваться на validation loss в описанных экспериментах, Chebyshev дал 2.55, DCT — 2.59, Hypernet — 3.77. Выбор геометрии адаптера влияет на результат.

Стабильность и границы применимости

Ограниченная параметризация рекуррентности даёт аналитический сертификат Affine Quadratic Stability для модулированной рекуррентности. MaRK предназначена для итеративной генерации с предобученными SSM. Каждый шаг диффузии может изменять ядро памяти модели «вход—выход».

Практический критерий: MaRK уместна, когда нужен аналитический сертификат устойчивости и изменение ядра памяти на каждом шаге диффузии.

Статус публикации и версия

  • Авторы работы: Syed Ibrahim Omer, Ginny Y. Wong, Xiangyu Zhao.
  • Статья arXiv:2610.09092 содержит версию v1 от 6 Oct 2026.
  • Последняя редакция — 18 Oct 2026 (версия v3).
  • Журнальная ссылка указывает на NeurIPS 2026 Submission.

Практический критерий: корректная ссылка на результаты включает версию v3 от 18 Oct 2026 и статус NeurIPS 2026 Submission.

Часто задаваемые вопросы

Похожие материалы

Все материалы
B-PINN и коллайдерное смещение: причины, диагностика и цепная альтернатива
Новости

B-PINN и коллайдерное смещение: причины, диагностика и цепная альтернатива

Авторы показывают, что распространённая схема B-PINN, где независимые априорные параметры связываются через виртуальные правдоподобия невязок дифференциальных уравнений, способна систематически смещать постериорные оценки физических величин. Взамен предлагается иерархическая цепная модель с дискретизацией стохастической динамики и сэмплированием particle MCMC, а также даются критерии диагностики надёжности стандартного подхода.

14 ноября 2026
Дообучение генеративных моделей изображений: совместный учет предпочтений и рубрик
Новости

Дообучение генеративных моделей изображений: совместный учет предпочтений и рубрик

Статья описывает метод постобучения text-to-image моделей в открытом домене, где сигнал человеческих предпочтений дополняется рубричными проверками соответствия промпту и желаемых свойств. Из результатов следует, что взвешенное усреднение наград проигрывает предложенной схеме, а на снимке Arena дообученные Flux2dev и Ideogram-4 показывают заметный рост Elo.

14 ноября 2026
Бенчмарк Zero2Repo: пределы автономной сборки проекта из пустого каталога
Новости

Бенчмарк Zero2Repo: пределы автономной сборки проекта из пустого каталога

Исследование предлагает оценивать кодирующих агентов на полной сборке репозитория: вход — спецификация, интерфейсный контракт и пустая среда, проверка — скрытые тесты без LLM-судьи. Даже ведущие агенты редко проходят все проверки, а основная доля сбоев приходится на отдельные пропущенные пункты требований.

13 ноября 2026
MaRK: контекстная модуляция рекуррентных параметров SSM