MaRK:预训练 SSM 中循环参数的上下文调制
提出了一种方法,通过低秩参数更新使冻结状态空间模型的递归算子适应上下文,并在每个生成步骤影响“输入—输出”核。对三种适配器几何结构的比较表明,切比雪夫多项式的验证误差更低,而受限参数化则支持对稳定性进行解析检验。

MaRK 的任务与核心思想
MaRK(Markov-adapted Recurrent Kernels)是一种动态算子条件化框架。它将上下文向量映射为有界的递归算子调制。
- 在 LPV-SSM 表示中,MaRK 定义了一个由上下文索引的马尔可夫参数序列族。
- 该方法面向预训练 SSM。
- 常规条件化机制不会改变基础时间动态,包括将信息馈入输入以及调制激活值。
实用判断标准:当需要改变 SSM 的时间动态,而不仅仅是输入数据或激活值时,MaRK 才有用。
SSM 中哪些参数会被调制
MaRK 会调制冻结 SSM 的五组参数:
- A — 递归;
- B — 输入读取;
- C — 输出读取;
- D — 直通;
- Δ — 离散化。
实用判断标准:MaRK 会改变 A、B、C、D 和 Δ。如果任务需要改变这些参数,该方法便可满足需求。
适配器与冻结基座上的训练
MaRK 基于一个拥有 1.11 亿个参数的冻结基座模型 Hydra SSM。该研究考察了三种适配器几何结构:
- Hypernet;
- Chebyshev 多项式;
- 离散余弦变换(DCT)核。
适配器通过低秩辅助映射改变马尔可夫参数序列。基座模型保持冻结。
从双向目标函数切换到迭代扩散模式,需要 630 万至 1100 万个可训练辅助参数。实用判断标准:只需训练辅助映射,基座 SSM 则保持冻结。
实验结果与几何结构选择
在 LPV 恢复和马尔可夫算子诊断的合成实验中,在假设一致的情况下,MaRK 能恢复坐标不变的时间算子。该方法会形成由时间步长决定的不同稳定记忆剖面。
| 适配器几何结构 | 验证损失 |
|---|---|
| Chebyshev | 2.55 |
| DCT | 2.59 |
| Hypernet | 3.77 |
三个选项中,Chebyshev 的验证损失最低,为 2.55。DCT 为 2.59,Hypernet 为 3.77。实用判断标准:若以所述实验中的验证损失为依据,Chebyshev 为 2.55,DCT 为 2.59,Hypernet 为 3.77。适配器几何结构的选择会影响结果。
稳定性与适用范围
对递归项进行有界参数化,可为调制后的递归项提供仿射二次稳定性(Affine Quadratic Stability)的解析证书。MaRK 面向使用预训练 SSM 进行迭代生成。每个扩散步骤都可以改变模型的“输入—输出”记忆核。
实用判断标准:当需要解析稳定性证书,并且需要在每个扩散步骤改变记忆核时,MaRK 就适用。
发表状态与版本
- 论文作者:Syed Ibrahim Omer、Ginny Y. Wong、Xiangyu Zhao。
- arXiv 论文:2610.09092,包含 2026 年 10 月 6 日发布的 v1 版本。
- 最新修订日期为 2026 年 10 月 18 日(v3 版本)。
- 期刊链接注明为 NeurIPS 2026 Submission。
实用判断标准:引用结果时,应注明 2026 年 10 月 18 日的 v3 版本,以及 NeurIPS 2026 Submission 状态。
常问问题
相关材料
所有材料
B-PINN 与碰撞偏差:成因、诊断及链式替代方案
作者展示了一种常见的 B-PINN 方案:通过微分方程残差的虚拟似然将相互独立的先验参数关联起来,而这种做法可能导致物理量的后验估计出现系统性偏差。作为替代方案,作者提出了一种层次链式模型,通过离散化随机动力学并采用粒子 MCMC 进行采样,同时给出了诊断标准方法可靠性的判据。
14 十一月 2026
生成式图像模型微调:综合考量偏好与类别体系
本文介绍了一种面向开放领域的 text-to-image 模型后训练方法:该方法在人工偏好信号的基础上,结合基于评分标准的提示词符合度和期望属性检查。结果表明,加权平均奖励的表现不及所提出的方案;在 Arena 快照中,经过微调的 Flux2dev 和 Ideogram-4 的 Elo 评分均显著提升。
14 十一月 2026
Zero2Repo 基准测试:从空目录自主构建项目的极限
研究建议在完整的仓库构建任务中评估编码智能体:输入包括规格说明、接口契约和空白环境,评估则通过隐藏测试进行,不使用 LLM 评判。即使是领先的智能体,也很少能通过所有检查;大多数失败都源于遗漏了个别需求项。
13 十一月 2026