多模态 Transformer 中的令牌拆分：注意力何时保留表示的贡献

细化对称性：它检验什么

注意力权重的数量取决于 token 数量。信号表示方式的变化会改变这个数量。因此，输入的细分会影响注意力机制。

论文《Refinement Symmetry in Multimodal Transformers》（Yuhao Du、Shunian Chen）于 2026 年 9 月 26 日提交。论文提出了细化对称性，将其作为贡献保持条件。

如果以下四项性质都得到保留，表示的拆分就能保持贡献：

• 内容；
• 位置；
• 可见上下文；
• 总质量。

实用标准：改变 token 切分方式之前，先检查这四项性质。任何一项丢失，都意味着贡献不再有保证。

局部质量因子的线性

作者基于比例注意力和求积注意力展开论述。他们得出结论：要实现对拆分的不变性，局部质量因子必须是线性的。该条件对任意固定的正注意力核都成立。此外，该因子不会递减。

由此可得出三项检查：

• 非线性因子会在细分时改变贡献；
• 线性因子可以保持贡献；
• 单调不减性会缩小可接受方案的范围。

实用标准：细分之前，先检查加权方案是否线性。非线性意味着结果会发生变化。

物理耦合与注意力误差边界

对于经过变换的表示，物理耦合能够限制注意力误差。该界限区分了两个来源：

• 特征变化；
• 权重重新分配。

实用标准：分别分析这两个来源。这样就能看出应该调整特征还是权重。

在 Qwen2.5-Omni-7B 上的验证：MVBench 答案

在 Qwen2.5-Omni-7B 中，将一半视觉 token 的数量增加至三倍，会导致 MVBench 上 3,586 个答案中的 255 个发生变化。这是标准注意力下的结果。按测度加权则能保留每个答案，同时保持可见性相当。

结论：造成差异的不是细分本身，而是质量的处理方式。

实用标准：细分视觉 token 时，改用按测度加权。在可见上下文不变的情况下，它能保持答案不变。

帧重新采样与分布漂移

在自然帧重新采样时，按测度加权能够减轻分布漂移。其效果不仅限于保持单个答案。

实用标准：改变帧率时，要关注分布漂移，而不只是准确率。按测度加权可以减轻漂移。

视频压缩：测得的增益

评估采用冻结的视频编码，并以两倍比例进行合并。实验使用了五个随机种子。所有划分方式下，准确率提升方向均为正。

相比按 token 数量进行全局加权，该方法在 WorldSense 上也具有优势。优势取决于压缩预算。

实用标准：大幅压缩视频时，要结合预算进行评估。按测度加权带来的收益并非固定不变。

表示原则的意义

作者将这一结果作为一种表示原则提出，并测得其能提升对不同划分方式的稳健性。这不是一次性的调整，而是一条处理细分的规则。

实用标准：先确定表示方式及其质量，再调整权重。这样，细分就不再改变答案。