OWP方法:在 Omni-LLM 中重新分配证据与先验信号

17 十一月 20261 视图

Omni-Woodpecker 是一种无需训练的框架,可检测模态间的冲突,并在解码前调整隐藏状态中上下文信息与记忆先验之间的平衡。在 Qwen2.5-Omni-7B 和 VideoLLaMA2-AV 上,该方法提升了模型在 CMM 和 AVHBench 上应对视听错误的稳健性,并在通用推理基准测试中带来适度提升。

OWP方法:在 Omni-LLM 中重新分配证据与先验信号

什么是 OWP,它解决什么问题

Omni-Woodpecker (OWP) 是一种无需训练的框架,用于纠正 Omni LLMs 中的跨模态幻觉。该方法将纠正从输出层面转移到由模态冲突驱动的表征再平衡。作者于 2026 年 10 月 19 日提交了论文:Zijian Liu、Chaoyou Fu、Yan Yang、Caifeng Shan、Ran He。

传统纠正方法处理的是已经生成的回答。OWP 则在解码前介入内部表征。这改变了该方法的作用位置。

结论:OWP 改变的是纠正位置,而不是修补生成后的回答。

证据与先验信号的再平衡步骤

OWP 分多个步骤进行再平衡。首先,该方法通过各模态的辅助表征识别跨模态冲突。

  • 通过各模态的辅助表征识别跨模态冲突。
  • 对隐藏状态进行正交分解,将 grounding 证据与相互竞争的先验估计分离。
  • 自适应地再平衡融合表征:抑制误导性先验,并恢复被忽略的证据。
  • 将校正后的表征传递给解码过程。

该方法不会改变模型权重,而是在生成前校正表征。

结论:OWP 无需训练或修改权重。它在解码前作用于隐藏状态。

结果:基准测试提升与可迁移性

在 Qwen2.5-Omni-7B 上,OWP 在 CMM 和 AVHBench 上分别提升 12.9 和 8.6 个百分点。在四个通用 OLLM 推理基准上,提升幅度为 0.67–2.25 个百分点。

模型CMMAVHBench
Qwen2.5-Omni-7B+12.9 个百分点+8.6 个百分点
VideoLLaMA2-AV+4.6 个百分点+3.9 个百分点

该方法在 VideoLLaMA2-AV 上也表现出可迁移性:在 CMM 和 AVHBench 上分别提升 4.6 和 3.9 个百分点。作者表示,该方法有效且可在不同架构间迁移。代码已公开。

结论:提升幅度取决于模型和基准测试。实用标准:在部署前,应先在自己的架构和目标任务集上测试 OWP。

选择 OWP 的实用标准

在满足若干条件时,OWP 适用。该方法无需训练,也不需要修改模型权重。

  • 需要在不训练的情况下纠正跨模态幻觉。
  • 可以访问隐藏状态和各模态的表征。
  • 需要在解码前介入,而不是对回答进行后处理。
  • 能够复现该方法:代码已公开。

OWP 是一种无需训练的方式,可用于再平衡证据与先验信号。作者称该方法可在不同架构间迁移。在具体模型上进行验证仍是必要步骤。

常问问题

OWP方法:在 Omni-LLM 中重新分配证据与先验信号