每页一份频谱摘要,取代整体草图:LOCKS 与无需读取键的块筛选
LOCKS 方法为每个上下文页面保存一份单独的低秩键表示,因此对块重要性的评估仅依赖这份摘要,而不会读取候选键本身。在长任务中,这一方案在仅访问约 2% token 的情况下,仍能将质量保持在接近完整缓存的水平,同时显著降低解码延迟。

为什么通用草图对页面无效
在长上下文上服务大型语言模型受限于键值(KV)缓存。缓存在每个解码步骤都会被完整读取。注意力键在局部是低秩的,尽管在全局是高秩的。一个固定的、对所有页面通用的低秩草图,可证明对页面方向是盲的。
在相同摘要大小下,页面自身的基能更好地对页面进行排序并保留载体。通用草图看不到这些方向。逐键的谱摘要解决了这个问题。

每个页面的谱摘要
LOCKS 为每个页面提供其自身的 rank-r 谱摘要。该摘要是常驻的:在 r=8 时占缓存的十分之一,在 r=2 时占二十五分之一。该方法重建页面内的 logits。它通过 log-sum-exp 估计每个页面的注意力质量。然后只处理排名靠前的页面。
关键要素:
- 名称:Page-Local Compact Key Summaries for Efficient Long-Context Decoding。
- 摘要:每个页面的 rank-r 谱摘要。
- 常驻性:在 r=8 时占缓存的十分之一,在 r=2 时占二十五分之一。
- 重建:页面内的 logits。
- 估计:通过 log-sum-exp 计算页面的注意力质量。
- 选择:仅处理排名靠前的页面。
结论:摘要只占缓存的一小部分,却保留了页面特征。页面选择依据谱数据进行。
不读取键的块选择
选择本身不读取候选的键或值。选择仅依据谱摘要进行。摘要在每个步骤都会被完整扫描。在所述秩范围内,每步的 KV 读取量下降 10–25 倍。
每个 token 的解码延迟减半。在单块 H200 NVL 上处理 1M token 时,r=8 时加速为 2.0×。这是与稠密注意力的比较。选择不依赖于读取候选键。

长任务上的质量
LOCKS 在多种任务类型上保持质量。在长文档问答(LongBench-v1;Llama-3.1-8B)上,结果与完整缓存相差不超过一个点。在检索密集的 RULER 上,该方法在最极小的预算下仍能跟随读取每个键的精确 LSE 预言机。在长文本推理(AIME26、MATH-500;Qwen3-4B)上,该方法在极小预算模式下保持质量的时间最久。基于驱逐的推理选择器和压缩器在那里则会退步。
在 2048 token 的预算下,LOCKS 在 100K+ 上下文(GLM-4-9B-Chat-1M)上与 FullKV 的聚合质量持平。同时该方法只处理 2% 的 token。
| 条件 | 结果 |
|---|---|
| 长文档问答(LongBench-v1;Llama-3.1-8B) | 与完整缓存相差不超过一个点 |
| 检索密集的 RULER | 在极小预算下仍跟随精确 LSE 预言机 |
| 长文本推理(AIME26、MATH-500;Qwen3-4B) | 在极小预算下保持质量的时间最久 |
| 2048 token 预算,100K+ 上下文(GLM-4-9B-Chat-1M) | 与 FullKV 持平,只处理 2% 的 token |
结论:在上述任务上,该方法保持质量的时间比选择器和基于驱逐的压缩器更久。
部署与选择标准
该方法作为即插即用插件提供给未经修改的 vLLM。批量解码在完整的 CUDA 图中运行。无需修改 vLLM。
选择标准:长上下文、有限的 token 预算、需要降低 KV 读取量和解码延迟。如果任务需要在不读取候选键的情况下进行块选择,该方法适用。

常问问题
相关材料
所有材料
RL 模拟器故障诊断中的规范多项式不变量:它们究竟在何处发挥作用
这项研究检验了将物理定律纳入可训练动力学模型是否合理:从轨迹中提取并通过 Gröbner 基化为规范形式的不变量,虽能小幅提升预测效果,却在诊断方面表现出色——它们能够定位被违反的约束,并找出具体的错误参数。
10 十一月 2026
AURA-Eval:如何验证 LLM 智能体识别了风险并调整了下一步行动
该框架评估 LLM 智能体在关键节点面对风险时的反应,而非最终判断:工具调用轨迹会被中断,随后模型必须继续推理并采取行动,LLM 评审团则分析其风险识别、行动性质与安全性。在从 157 条 R-Judge 轨迹中整理出的 1249 项任务上,对 20 个模型的评估显示,缺少安全路径时,不安全行为会增多;在执行前撤除监督,会使 52.3% 原本安全的案例转为不安全。
10 十一月 2026
陈-西蒙斯储层记忆:连通性的自主动力学与密度输运
本文探讨了储层如何同时在密度分布和几何自由度中保留输入信号的历史。对四种机制的比较表明,电流会形成一个独立的连通分量,改变密度的后续响应;而纳入所有测得的特征,则能在脉冲顺序解码方面带来小幅提升。
10 十一月 2026