Проверка coding-агентов в интерактивной XR-разработке: итоги GenXR-Bench
Опубликован GenXR-Bench — набор из 112 экспертных заданий для сквозной оценки coding-агентов в интерактивной XR-разработке: от доработки функций и исправления дефектов до создания приложений с проверкой поведения на потребительском оборудовании. У десяти протестированных моделей лучший результат составил 50,9% Pass@1; среди повторяющихся сбоев — обработка асинхронных событий датчиков, привязка объектов к реальному пространству и понимание взаимодействия в физическом контексте.
Что именно измеряет GenXR-Bench
GenXR-Bench оценивает coding agents в разработке XR-программ. Проверка идёт сквозная: от постановки задачи до поведения приложения при запуске. Авторы отмечают ключевую особенность предметной области. XR-приложения работают в динамических физических 3D-средах. Надёжность во время выполнения зависит сразу от трёх факторов:
- непрерывного движения пользователя;
- пространственного ввода;
- сенсорного восприятия окружения.
Эти факторы действуют совместно. Статической проверки кода поэтому недостаточно. Практический критерий: агента для XR оценивают на запускаемом приложении, а не на диффе.
Состав набора: 112 экспертных задач
Задачи для бенчмарка создали эксперты. Набор покрывает три типа работ.
| Тип задачи | Число задач |
|---|---|
| Реализация функций (feature implementations) | 24 |
| Исправление ошибок (bug repairs) | 21 |
| Генерация приложений (application generation) | 67 |
Всего в GenXR-Bench 112 задач. Генерация приложений занимает большую часть набора. Реализация функций и исправление ошибок дают проверку точечных изменений в готовом коде. Практический критерий: набор подходит для оценки агента на разных масштабах работы, а не только на создании приложения с нуля.
Отложенные тесты: scripted и adaptive взаимодействия
Отложенные тесты объединяют scripted и adaptive interactions. Внутри используются programmatic и visual assertions. Тесты оценивают базовую функциональность и поведение во время выполнения. Проверка смотрит не на написанный код, а на то, что происходит при взаимодействии.
Качество тестового набора авторы проверяли отдельно. Набор показал 96.5% accuracy при сравнении со слепыми экспертными оценками 124 candidate applications. Приложения запускали на потребительских XR-устройствах. Практический критерий: отложенные тесты дают воспроизводимый сигнал там, где ручная проверка в гарнитуре плохо масштабируется.
Результаты: 10 моделей и потолок 50.9%
Авторы оценили 10 моделей. Сильнейшая конфигурация достигла только 50.9% overall Pass@1. Метрика считает задачи, решённые с первой попытки. Разрыв между лучшим результатом и полным прохождением набора остаётся заметным.
Сравнение конфигураций опирается на одну метрику и одинаковые задачи. Практический критерий: 50.9% overall Pass@1 задаёт верхнюю планку ожиданий по набору. Этот результат не переносится автоматически на другие домены.
Типичные ошибки: сенсоры, привязка, взаимодействие
Анализ ошибок выявил повторяющиеся проблемы:
- понимание асинхронных жизненных циклов сенсоров;
- физическая привязка объектов;
- семантика воплощённого взаимодействия.
Ошибки касаются поведения во время выполнения, а не синтаксиса. Асинхронные жизненные циклы сенсоров определяют, когда приложение получает данные. Физическая привязка связывает виртуальные объекты с реальным пространством. Семантика воплощённого взаимодействия задаёт правила реакции на действия пользователя.
Практический критерий: при приёмке XR-кода проверяют именно эти три аспекта. Агент, который проходит простые задачи, может ломаться на событиях сенсоров и привязке к пространству.
Как встроить бенчмарк в выбор агента
Порядок работы с результатами бенчмарка:
- сравнивать конфигурации по overall Pass@1 на одинаковом наборе задач;
- смотреть на типы задач, близкие к рабочему проекту;
- проверять, воспроизводятся ли отложенные тесты на доступных XR-устройствах;
- учитывать версию статьи: v1 подана 21 Oct 2026, v2 — 22 Oct 2026.
Код доступен по ссылке на странице статьи. Бенчмарк описывает разработку XR-программ и не заменяет проверку в других доменах. Практический критерий: результат агента в GenXR-Bench служит фильтром на входе, а финальное решение принимается по запуску приложения на целевом оборудовании.
Часто задаваемые вопросы
Похожие материалы
Все материалы
От скалярной награды к фронту Парето: LLM-синтез RTL с многокритериальным подкреплением
Предложен способ обучать языковую модель генерировать не одну схему, а набор RTL-кандидатов с разными компромиссами между площадью, задержкой и энергопотреблением; награда строится по вкладу варианта в гиперобъём фронта Парето. На RTLLM v2 относительный гиперобъём вырос на 13,3 п.п. относительно базовой версии без оптимизации PPA и на 14,4 п.п. относительно одноцелевого обучения с подкреплением.
5 ноября 2026
Медицинские LLM узнают о пересмотре рекомендаций, но часто отвечают по прежним правилам
Исследование ChronoEvo на 1709 изменениях клинических рекомендаций показывает: в основной модели 90,8% ответов фиксировали новшество, однако полностью применяли его только 58,5%, а разрыв в 32,3 п.п. сохранялся у 14 моделей. Даже усиление заметности обновлений не дало значимого прироста в полном переносе новых правил в клиническую рекомендацию.
4 ноября 2026
Модель мира для агентов на закрытых LLM: коррекция в точках риска
Предложен PAWM — внешний предиктор, который не дублирует пошаговое наблюдение, а включается при вероятном сбое и уводит агента от ошибочного действия. После SFT на синтетических сценариях и GRPO-кообучения метод дал прирост 24,3% в ScienceWorld и 7,7% в WebArena-Lite для Claude Sonnet 4.5.
4 ноября 2026