RBS-Attention:通过搜索低估块加速长提示词预填充
文章介绍了一种方法:在基于平均相似度筛选块的基础上,搜索可能隐藏重要 token 的候选块。在 128K 上下文下,作者报告称,预填充阶段的注意力速度最高提升了 20.65 倍;在 Qwen3-32B 上,RULER 得分为 88.65,而密集注意力为 89.52。

该方法能加速推理的哪个阶段
预填充(prefill)会在生成开始前处理提示词。密集 self-attention 会遍历整个输入,因此上下文越长,该阶段的计算负载就越高。
RBS-Attention 会为预填充稀疏地选择块,从而降低计算开销。但块质心会对 token 的相关性取平均,可能导致重要 token 淹没在不相关 token 中。作者将这种失效称为 均值稀释(mean dilution)。

这种方法的实际意义在于加速预填充,同时不只依赖整个块的平均相关性。
块选择机制
该方法无需训练,并采用两个相互补充的分支:
- 基础分支通过质心评估块的平均相关性。
- 恢复分支会考虑键块的最大半径及其分布,该分布取决于提示词、层和注意力头。这样可以识别出相关性可能被低估的块。
每个分支都会分别对自己的选择应用阈值。随后,该方法合并掩码,并控制恢复分支所选块的占比。执行仍通过常规的块稀疏 FlashAttention 完成。
这种设计适用于质心选择可能漏掉个别相关 token,且仍需保留块稀疏执行的场景。
速度方面展示了哪些结果
测试在 H100 上以 128K 上下文进行。论文报告了 Qwen3-30B-A3B-Instruct-2507-FP8 的以下加速比:
| 阶段 | 加速比 |
|---|---|
| 独立运行的预填充注意力 | 20.65× |
| vLLM 中的预填充注意力 | 11.92× |
| 端到端首 token 延迟 | 5.97× |
这些结果针对特定配置。应将其与质量评估分开看待,未经相应测试,不应直接套用到其他模型。
关于质量和测试,有哪些已知信息
在密集模型 Qwen3-32B 上,RULER 总体准确率为 88.65。密集 attention 的准确率为 89.52。
研究还在 LongBench-v2、InfiniteBench 和 Video-MME 上进行了额外的质量评估。辅助实验测量了相关数据的保留情况,在相同稀疏度下比较了不同选择器,并测试了不同的块大小、阈值和内存占用。
选择方法时,应分别评估速度和质量:已报告的 RULER 结果不能替代针对具体应用重要任务所进行的测试。
常问问题
相关材料
所有材料
Toollery:从数万种选项中为 LLM 智能体挑选工具,无需微调
Toollery 根据技能和工具的描述构建搜索索引,并在收到请求时只向模型传递有限的一组候选项。在规模达数万个函数的库上进行的实验表明,该方法在固定 top-K 的情况下能够保持选择质量,但最终效果取决于负载特征和服务提供商的缓存情况。
11 十一月 2026
仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试
介绍 DashAct:一个包含 348 条经人工验证轨迹的基准测试,将 GUI 代理与交互式面板的工作拆分为三个阶段和四种视觉条件。结果显示,代理在动作预测和视觉目标定位方面存在持续性问题,其响应也依赖于上下文和空间支持。
11 十一月 2026
WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成
这篇预印本介绍了 WILSON——一种视觉语言模型,可对整张玻片图像以及同一患者在不同放大倍率下的一系列切片进行编码,而不只是单张“最佳”切片。无需针对特定任务进行微调,它在多项指标上超越了专用且规模更大的切片模型,同时计算负载显著更低;其诊断描述也获得了病理学家更高的评价。
11 十一月 2026