Почему правдоподобного ответа недостаточно
Правдоподобный итог не подтверждает, что ИИ-агент соблюдал процедуру. Для этого нужно проверять не только ответ, но и свидетельства выполнения.
В работе ContractEval процедурное соответствие рассматривается как отдельный объект проверки. В контролируемом наборе LLM-судьи пропускали многие искусственно внесённые структурные сбои. Это происходило и при оценке только ответа, и при учёте трассы.
- Ответ показывает, что система сообщила.
- Трасса выполнения содержит свидетельства о действиях.
- Процедурная проверка сопоставляет эти свидетельства с требованиями.
Критерий: не считать убедительность ответа доказательством соблюдения процедуры.
Как устроена процедурная проверка
ContractEval представляет инструкцию как набор обязательств, активных для конкретного запроса. Затем система сопоставляет обязательства со свидетельствами в ответе или трассе выполнения.
Проверка включает три элемента:
- Запрос определяет, какие обязательства активны.
- Ответ или трасса служат источником свидетельств.
- Сопоставление выявляет соответствие и нарушения.
Практический критерий: проверка должна связывать требование с конкретным свидетельством в ответе или трассе.
Какие нарушения можно различить
ContractEval выделяет отдельные типы процедурных сбоев. Такое разделение показывает, где именно расходятся требования и выполнение.
- Пропуск — обязательное действие или требование отсутствует.
- Неверная ветвь — выполнение пошло по неподходящей ветви процедуры.
- Ошибка порядка — действия расположены не в требуемой последовательности.
- Лишнее действие — выполнение содержит действие сверх предусмотренного.
- Нарушение инварианта — не соблюдено условие, которое должно сохраняться.
- Несоблюдение требований к выходу — результат не отвечает заданным требованиям к формату или содержанию.
Критерий: классификация должна указывать тип сбоя, а не сводить все нарушения к общей оценке ответа.
Что показало исследование
Авторы работы ContractEval сравнили способы проверки на контролируемом наборе процедурных контрактов. Эталонные графы ожидаемого и наблюдаемого выполнения позволили обнаружить и локализовать все искусственно внесённые структурные сбои.
| Способ проверки | Результат |
|---|---|
| LLM-судьи оценивают ответ или учитывают трассу | Пропускали многие внесённые сбои |
| Сопоставление эталонного и наблюдаемого графов | Обнаружило и локализовало все такие сбои |
| Извлечение данных с помощью LLM | Сохранило значительную часть сигнала, но зависело от калибровки |
Работа Praphul Singh, Shanu Kumar, Akshat Agarwal и Ganesh Kumar отправлена на arXiv 8 сентября 2026 года: ContractEval.
Вывод: результаты относятся к контролируемому набору; переносить их на любые сценарии нельзя.
Где проходит граница проверки
ContractEval не гарантирует, что система соблюла процедуру. Работа делает соответствие поддающимся аудиту, а не подразумеваемым качеством итогового ответа.
При выборе способа проверки важны два условия:
- Есть ли эталонное представление ожидаемого выполнения.
- Можно ли сопоставить его со свидетельствами в фактической трассе или ответе.
Если используют извлечение данных с помощью LLM, нужно учитывать чувствительность результата к калибровке. Сам по себе итоговый ответ не заменяет проверку процедурных свидетельств.
Практический критерий: считать соответствие проверенным только тогда, когда требования сопоставлены с наблюдаемым выполнением.
