交互式 XR 开发中的编码智能体评测：GenXR-Bench 结果

GenXR-Bench具体测量什么

GenXR-Bench评估编码智能体开发XR程序的能力。测试贯穿整个流程：从理解任务到应用运行时的行为。作者指出了这一领域的关键特点。XR应用运行在动态的物理3D环境中。运行时的可靠性同时取决于三个因素：

• 用户持续移动；
• 空间输入；
• 对周围环境的感知。

这些因素会共同作用。因此，仅静态检查代码是不够的。实际评估标准是：评估XR智能体时，应看可运行的应用，而不是代码差异。

基准测试的组成：112项专家设计的任务

基准测试任务由专家设计。任务集涵盖三类工作。

GenXR-Bench总共包含112项任务。应用生成占据了任务集的大部分。功能实现和错误修复则用于检验对现有代码进行的局部修改。实际评估标准是：该任务集适合评估智能体处理不同规模工作的能力，而不只是从零开始创建应用。

留出测试：脚本化和自适应交互

留出测试结合了脚本化和自适应交互。测试使用程序化和视觉断言，评估基本功能和运行时行为。测试关注的不是编写了什么代码，而是交互过程中实际发生了什么。

作者还单独验证了测试集的质量。与对124个候选应用进行的盲测专家评估相比，该测试集的准确率达到96.5%。这些应用在消费级XR设备上运行。实际评估标准是：留出测试能够提供可复现的信号，而在头显中进行人工检查难以规模化。

结果：10个模型，最高达到50.9%

作者评估了10个模型。表现最强的配置overall Pass@1也仅达到50.9%。该指标统计首次尝试就解决的任务。最佳结果与完全通过整个任务集之间仍存在明显差距。

配置对比基于同一指标和相同任务。实际评估标准是：50.9%的overall Pass@1为该任务集上的预期表现设定了上限。这一结果不能自动外推到其他领域。

常见错误：传感器、锚定、交互

错误分析发现了反复出现的问题：

• 对传感器异步生命周期的理解；
• 对象的物理锚定；
• 具身交互的语义。

这些错误涉及运行时行为，而不是语法。传感器的异步生命周期决定应用何时接收数据。物理锚定将虚拟对象与现实空间关联起来。具身交互语义规定了应用如何响应用户操作。

实际评估标准是：验收XR代码时，重点检查这三个方面。能通过简单任务的智能体，仍可能在传感器事件和空间锚定方面出错。

如何将基准测试用于智能体选择

使用基准测试结果时，可按以下步骤进行：

• 在相同任务集上比较各配置的overall Pass@1；
• 关注与实际项目相近的任务类型；
• 检查留出测试能否在可用的XR设备上复现；
• 留意论文版本：v1于2026年10月21日提交，v2于2026年10月22日提交。

代码可通过论文页面上的链接获取。该基准测试针对XR程序开发，不能替代对其他领域的检查。实际评估标准是：智能体在GenXR-Bench上的成绩可作为初筛依据，最终决策则应基于应用在目标设备上的运行情况。