路由器会获取什么
在 MoE 语言模型中，路由器根据 token 的隐藏状态选择专家并为其分配权重。与此同时，它使用的上下文信息有限。
Attention-Aware Routing (AAR) 通过时间和频谱特征补充这一信号。这些特征从注意力权重的滑动窗口中提取。
- 普通路由依赖 token 的隐藏状态。
- AAR 会添加注意力特征，这些特征将上下文状态与隐藏状态分开进行汇总。
实际评估标准：分析专家选择时，需要区分 token 信号和额外的上下文摘要。
AAR 如何运作
AAR 从注意力权重的滑动窗口中获取时间和频谱特征。这样，路由器便能使用与 token 隐藏状态分离的上下文信号。
作者将基础 Transformer 完全冻结，只训练路由参数。这样便能将路由作为唯一的可变因素进行研究。
评估该方法的标准是：将路由的影响与模型其他参数变化的影响区分开来。
为什么路由会改变注意力
路由与注意力通过层序列相互关联。第 l 层的路由变化会经由残差流传递，并增强第 l+1 层的 attention sinks。
这会在不直接更新注意力机制的情况下改变注意力。因此，专家选择可能会影响后续的上下文处理。
分析结果时，必须考虑这种关联：在这里，注意力不仅是路由器的输入信号，也是路由后续影响链条的一部分。
结果显示了什么
在 OLMoE 上，与仅使用路由的基线 SFT 变体相比，AAR 将 GSM8K 成绩提高了 3.37 个百分点。
| 指标 | AAR 结果 |
|---|---|
| GSM8K | 相比基线提高 3.37 个百分点 |
| 错误答案 | 在较长的发散生成中变得更短 |
| 正确答案 | 长度没有变化 |
这些结果描述的是一次具体评估，并不能说明 AAR 对所有任务的影响都相同。
比较不同变体时，应分别考虑任务成绩和生成长度：这两项指标的变化并不相同。
为什么 AAR 的应用层很重要
AAR 的效果取决于模型深度。如果不加区分地将其应用于不同层，事实检索质量可能会下降。
在较深层应用时，数学推理方面的优势仍然存在。这揭示了不同深度下信息检索与推理之间的矛盾。
- 对于事实检索评估，应检查在不同层应用 AAR 是否会使其效果变差。
- 对于数学推理，应考虑较深层的结果。
- 选择性应用有助于研究注意力在每个深度为路由提供了哪些信息。
实际评估标准是分别评估各层，而不是将注意力信号视为在模型的所有深度上都同样有用。
