RBS-Attention:通过搜索低估块加速长提示词预填充

14 十月 20263 视图

文章介绍了一种方法:在基于平均相似度筛选块的基础上,搜索可能隐藏重要 token 的候选块。在 128K 上下文下,作者报告称,预填充阶段的注意力速度最高提升了 20.65 倍;在 Qwen3-32B 上,RULER 得分为 88.65,而密集注意力为 89.52。

RBS-Attention:通过搜索低估块加速长提示词预填充

该方法能加速推理的哪个阶段

预填充(prefill)会在生成开始前处理提示词。密集 self-attention 会遍历整个输入,因此上下文越长,该阶段的计算负载就越高。

RBS-Attention 会为预填充稀疏地选择块,从而降低计算开销。但块质心会对 token 的相关性取平均,可能导致重要 token 淹没在不相关 token 中。作者将这种失效称为 均值稀释(mean dilution)。

这种方法的实际意义在于加速预填充,同时不只依赖整个块的平均相关性。

块选择机制

该方法无需训练,并采用两个相互补充的分支:

  • 基础分支通过质心评估块的平均相关性。
  • 恢复分支会考虑键块的最大半径及其分布,该分布取决于提示词、层和注意力头。这样可以识别出相关性可能被低估的块。

每个分支都会分别对自己的选择应用阈值。随后,该方法合并掩码,并控制恢复分支所选块的占比。执行仍通过常规的块稀疏 FlashAttention 完成。

这种设计适用于质心选择可能漏掉个别相关 token,且仍需保留块稀疏执行的场景。

速度方面展示了哪些结果

测试在 H100 上以 128K 上下文进行。论文报告了 Qwen3-30B-A3B-Instruct-2507-FP8 的以下加速比:

阶段加速比
独立运行的预填充注意力20.65×
vLLM 中的预填充注意力11.92×
端到端首 token 延迟5.97×

这些结果针对特定配置。应将其与质量评估分开看待,未经相应测试,不应直接套用到其他模型。

关于质量和测试,有哪些已知信息

在密集模型 Qwen3-32B 上,RULER 总体准确率为 88.65。密集 attention 的准确率为 89.52。

研究还在 LongBench-v2、InfiniteBench 和 Video-MME 上进行了额外的质量评估。辅助实验测量了相关数据的保留情况,在相同稀疏度下比较了不同选择器,并测试了不同的块大小、阈值和内存占用。

选择方法时,应分别评估速度和质量:已报告的 RULER 结果不能替代针对具体应用重要任务所进行的测试。

常问问题

RBS-Attention:通过搜索低估块加速长提示词预填充