OWP方法:在 Omni-LLM 中重新分配证据与先验信号
Omni-Woodpecker 是一种无需训练的框架,可检测模态间的冲突,并在解码前调整隐藏状态中上下文信息与记忆先验之间的平衡。在 Qwen2.5-Omni-7B 和 VideoLLaMA2-AV 上,该方法提升了模型在 CMM 和 AVHBench 上应对视听错误的稳健性,并在通用推理基准测试中带来适度提升。

什么是 OWP,它解决什么问题
Omni-Woodpecker (OWP) 是一种无需训练的框架,用于纠正 Omni LLMs 中的跨模态幻觉。该方法将纠正从输出层面转移到由模态冲突驱动的表征再平衡。作者于 2026 年 10 月 19 日提交了论文:Zijian Liu、Chaoyou Fu、Yan Yang、Caifeng Shan、Ran He。
传统纠正方法处理的是已经生成的回答。OWP 则在解码前介入内部表征。这改变了该方法的作用位置。
结论:OWP 改变的是纠正位置,而不是修补生成后的回答。
证据与先验信号的再平衡步骤
OWP 分多个步骤进行再平衡。首先,该方法通过各模态的辅助表征识别跨模态冲突。
- 通过各模态的辅助表征识别跨模态冲突。
- 对隐藏状态进行正交分解,将 grounding 证据与相互竞争的先验估计分离。
- 自适应地再平衡融合表征:抑制误导性先验,并恢复被忽略的证据。
- 将校正后的表征传递给解码过程。

该方法不会改变模型权重,而是在生成前校正表征。
结论:OWP 无需训练或修改权重。它在解码前作用于隐藏状态。
结果:基准测试提升与可迁移性
在 Qwen2.5-Omni-7B 上,OWP 在 CMM 和 AVHBench 上分别提升 12.9 和 8.6 个百分点。在四个通用 OLLM 推理基准上,提升幅度为 0.67–2.25 个百分点。
| 模型 | CMM | AVHBench |
|---|---|---|
| Qwen2.5-Omni-7B | +12.9 个百分点 | +8.6 个百分点 |
| VideoLLaMA2-AV | +4.6 个百分点 | +3.9 个百分点 |
该方法在 VideoLLaMA2-AV 上也表现出可迁移性:在 CMM 和 AVHBench 上分别提升 4.6 和 3.9 个百分点。作者表示,该方法有效且可在不同架构间迁移。代码已公开。
结论:提升幅度取决于模型和基准测试。实用标准:在部署前,应先在自己的架构和目标任务集上测试 OWP。
选择 OWP 的实用标准
在满足若干条件时,OWP 适用。该方法无需训练,也不需要修改模型权重。
- 需要在不训练的情况下纠正跨模态幻觉。
- 可以访问隐藏状态和各模态的表征。
- 需要在解码前介入,而不是对回答进行后处理。
- 能够复现该方法:代码已公开。
OWP 是一种无需训练的方式,可用于再平衡证据与先验信号。作者称该方法可在不同架构间迁移。在具体模型上进行验证仍是必要步骤。
常问问题
相关材料
所有材料
LightCRS:无需为每个类别单独配置 VLM 的紧凑型多领域对话推荐框架
作者介绍了一种系统:商品多模态特征由冻结的编码器离线计算,在对话中则由一个跨所有领域共享的、拥有 530 万参数的模块进行处理,并采用依赖于查询的交叉注意力。在涵盖 25 个领域的基准测试中,该方法提升了平均排序指标,显著降低了延迟,并表明联合训练优于单独训练的单领域模型。
16 十一月 2026
基于编译器诊断的 Lean 4 战术有限修复
该模块采用逐步处理方式,不会丢弃被拒绝的策略,而是根据 Lean 报错最多让纠错模型修正 R 次;在有 K 个候选项时,这能提高问题求解率。LeanDojo 和 Lean Workbook 上的实验表明,提升主要来自对浅层执行失败的修复,代价是搜索时间增加。
16 十一月 2026
Genesis Steering 方法:基于微调数据的激活控制
该方法从微调数据中已有的对比样例提取控制向量;若无法获取这些样例,则通过成员推断筛选可能的训练样本,并构建代理数据集。理论部分阐述了朝决策边界进行最优偏移的方法以及基于代理数据的评估;实证结果表明,Tülu-3-8B 的内部数据比外部数据集效果更显著,而 MIA 代理数据在 Llama-3.1-8B-Instruct 上的效用则受方向偏移之间关系的限制。
16 十一月 2026