MaRK:预训练 SSM 中循环参数的上下文调制

14 十一月 20262 视图

提出了一种方法,通过低秩参数更新使冻结状态空间模型的递归算子适应上下文,并在每个生成步骤影响“输入—输出”核。对三种适配器几何结构的比较表明,切比雪夫多项式的验证误差更低,而受限参数化则支持对稳定性进行解析检验。

MaRK:预训练 SSM 中循环参数的上下文调制

MaRK 的任务与核心思想

MaRK(Markov-adapted Recurrent Kernels)是一种动态算子条件化框架。它将上下文向量映射为有界的递归算子调制。

  • 在 LPV-SSM 表示中,MaRK 定义了一个由上下文索引的马尔可夫参数序列族。
  • 该方法面向预训练 SSM。
  • 常规条件化机制不会改变基础时间动态,包括将信息馈入输入以及调制激活值。

实用判断标准:当需要改变 SSM 的时间动态,而不仅仅是输入数据或激活值时,MaRK 才有用。

SSM 中哪些参数会被调制

MaRK 会调制冻结 SSM 的五组参数:

  • A — 递归;
  • B — 输入读取;
  • C — 输出读取;
  • D — 直通;
  • Δ — 离散化。

实用判断标准:MaRK 会改变 A、B、C、D 和 Δ。如果任务需要改变这些参数,该方法便可满足需求。

适配器与冻结基座上的训练

MaRK 基于一个拥有 1.11 亿个参数的冻结基座模型 Hydra SSM。该研究考察了三种适配器几何结构:

  • Hypernet;
  • Chebyshev 多项式;
  • 离散余弦变换(DCT)核。

适配器通过低秩辅助映射改变马尔可夫参数序列。基座模型保持冻结。

从双向目标函数切换到迭代扩散模式,需要 630 万至 1100 万个可训练辅助参数。实用判断标准:只需训练辅助映射,基座 SSM 则保持冻结。

实验结果与几何结构选择

在 LPV 恢复和马尔可夫算子诊断的合成实验中,在假设一致的情况下,MaRK 能恢复坐标不变的时间算子。该方法会形成由时间步长决定的不同稳定记忆剖面。

适配器几何结构验证损失
Chebyshev2.55
DCT2.59
Hypernet3.77

三个选项中,Chebyshev 的验证损失最低,为 2.55。DCT 为 2.59,Hypernet 为 3.77。实用判断标准:若以所述实验中的验证损失为依据,Chebyshev 为 2.55,DCT 为 2.59,Hypernet 为 3.77。适配器几何结构的选择会影响结果。

稳定性与适用范围

对递归项进行有界参数化,可为调制后的递归项提供仿射二次稳定性(Affine Quadratic Stability)的解析证书。MaRK 面向使用预训练 SSM 进行迭代生成。每个扩散步骤都可以改变模型的“输入—输出”记忆核。

实用判断标准:当需要解析稳定性证书,并且需要在每个扩散步骤改变记忆核时,MaRK 就适用。

发表状态与版本

  • 论文作者:Syed Ibrahim Omer、Ginny Y. Wong、Xiangyu Zhao。
  • arXiv 论文:2610.09092,包含 2026 年 10 月 6 日发布的 v1 版本。
  • 最新修订日期为 2026 年 10 月 18 日(v3 版本)。
  • 期刊链接注明为 NeurIPS 2026 Submission。

实用判断标准:引用结果时,应注明 2026 年 10 月 18 日的 v3 版本,以及 NeurIPS 2026 Submission 状态。

常问问题

MaRK:预训练 SSM 中循环参数的上下文调制