GPU内核优化通常需要对硬件架构和底层指令有深入理解。语言模型目前在这方面的表现尚不稳定：它们能生成看似合理的代码，但远非总是正确且高效。PTXBench是一个新的基准测试，旨在为这一过程引入可度量性和清晰度。
什么是PTXBench，为什么需要它
PTXBench是一个评估平台，用于测试那些尝试利用架构特定的PTX（并行线程执行）来优化GPU内核的大型语言模型。PTX是NVIDIA GPU指令的中间表示形式，正是在这一层面可以精细控制寄存器、内存和调度器。常规基准测试只检查最终代码，但PTXBench看得更深：模型是否真正应用了目标底层指令，而不仅仅是生成“类似C语言”的代码。
作者聚焦于两种经典负载：矩阵乘法（GEMM）和对Transformer至关重要的注意力机制（attention）。测试在当前的加速器——H100和B200上执行。这样的选择不仅能检验模型的基础能力，还能考察其适应现代架构及其特有特性的能力。
基准测试衡量什么
PTXBench从三个关键维度评估模型：
- 功能正确性 — 生成内核的运行结果必须与参考结果一致。
- 目标指令的执行 — 检查运行时是否确实出现了模型应当使用的PTX指令。
- 加速效果 — 所得内核相比frontier库（即最佳现成实现）快多少。
这种方法区分了三个不同的问题。模型可能写出正确的代码，但未使用所需指令；或者使用了指令，但性能却不如标准库。PTXBench能让我们看到失败究竟发生在哪个环节。
结果：模型在优化方面表现参差不齐
评估显示，LLM处理PTX的能力高度依赖具体任务。在简单案例中，模型表现不错，但在复杂的attention反向任务中，成功比例急剧下降。这在意料之中：反向传播需要更精细地处理梯度和内存。
另一个重要发现是：执行目标指令本身并不保证速度。模型可能“命中”了正确的PTX指令，但选择了不佳的并行化策略或同步布局。最终，所有被测试的模型都无法在整个任务集上稳定地与frontier库竞争。
如何微调模型以及什么有效
为了探究这些技能能否提升，作者使用监督微调对Qwen3.6-27B模型进行了训练。此外，他们还采用了一种可称为“基于修正的条件训练”的方法：模型不仅学习生成代码，还通过接收错误步骤的反馈来学习修正代码。
这种方法确实改善了几项任务，但并未带来均衡的进步。泛化能力仍然薄弱：模型可能在处理某些类型的内核时表现良好，却在其他类型上失败。分析表明，起决定作用的不仅是训练数据集的大小，更重要的是其覆盖范围、不同场景之间的平衡，以及生成推理链示例的“教师”质量。如果数据偏向简单案例，模型就无法学会处理复杂性。
主要结论
PTXBench为社区提供了一个可验证的测试平台，用于追踪LLM在GPU内核优化方面的进展。它不仅给出“快/慢”的评分，还能揭示模型的计划在哪个层面崩溃：是语法层面、特定指令的应用层面，还是策略选择层面。这是朝着让内核自动优化变得可预测且实用迈出的重要一步。
