Разнообразие на входе, а не в рассуждении: сравнение методов тестовой аугментации для LLM
Работа сопоставляет источники вариативности при инференсе LLM — перефразирование запроса, изменение написания и преобразования изображений — при равном числе вызовов. На шести бенчмарках сохранение смысла давало лучший прирост точности, тогда как посимвольный шум и одновременные возмущения двух модальностей оказывались менее полезными.

Два источника разнообразия: вход и рассуждение
Test-Time Augmentation (TTA) объединяет предсказания по преобразованным версиям входных данных. Разнообразие создают перефразирование вопроса, изменение написания или преобразование сопровождающих изображений. Self-consistency действует иначе: меняет только путь рассуждения и повторно использует фиксированный вход.

| Метод | Источник разнообразия |
|---|---|
| TTA | преобразованные версии входных данных |
| Self-consistency | путь рассуждения при фиксированном входе |
TTA проверяет устойчивость к изменениям входа. Self-consistency проверяет устойчивость рассуждения при одном входе. Выбор зависит от того, какой источник разнообразия нужен для задачи.
Почему равенство инференс-вызовов меняет вывод
Авторы сравнивали варианты на шести бенчмарках. Число инференс-вызовов было одинаковым. Такое условие отделяет эффект источника разнообразия от эффекта дополнительных вычислений.
- шесть бенчмарков;
- равное число вызовов;
- сравнение источников, а не объёма.
Авторы сообщают: источник разнообразия важнее его количества. Вывод для выбора: сравнивать методы стоит при равном числе вызовов. Иначе рост точности можно приписать источнику, а не дополнительным вызовам.
Перефразирование: прирост и ранний пик
Перефразирование входа с сохранением смысла дало наибольший прирост точности. Прирост составил +1.80 процентного пункта к одному вызову. Пиковая точность достигалась с наименьшим числом образцов.
Для моделей среднего уровня, таких как Claude Haiku, изменение формулировки вопроса оказалось более эффективным использованием инференс-вызова, чем изменение пути рассуждения.
Практический вывод: если преобразование сохраняет смысл, перефразирование — первый кандидат для TTA. Оно даёт и прирост, и ранний пик.
Посимвольный шум: много расхождений, мало пользы
Посимвольный шум вызывал больше расхождений между ответами: 37.8% против 27.4%. Прирост точности оказался ниже. Высокий разброс ответов не означает пользы для агрегации.
Расхождения после порчи смысла ошибочны. Такие расхождения не дают полезного сигнала для агрегации.
Практический вывод: оценивать точность, а не только долю расхождений. Посимвольный шум не заменяет преобразования с сохранением смысла.
Двойное возмущение: когда комбинация проигрывает
Одновременное возмущение двух модальностей давало результат ниже базового уровня одного вызова. Комбинация преобразований не гарантирует выигрыш.
- возмущение двух модальностей одновременно;
- результат ниже базового уровня одного вызова;
- отдельная проверка комбинации.
Практический вывод: комбинировать модальности стоит только после отдельного сравнения. Иначе TTA может уйти ниже одного вызова.
Практический выбор метода
Критерии выбора опираются на источник разнообразия, сохранение смысла и равное число вызовов.
| Задача | Метод |
|---|---|
| Проверить устойчивость к формулировке | TTA с перефразированием |
| Проверить устойчивость рассуждения при том же входе | self-consistency |
| Оценить чувствительность к написанию | TTA с посимвольным шумом |
| Комбинировать модальности | только после отдельного сравнения |
Практический критерий: выбирать источник разнообразия под задачу. Для прироста точности от TTA перефразирование даёт наибольший измеренный эффект. Для проверки рассуждения при том же входе остаётся self-consistency.
Часто задаваемые вопросы
Похожие материалы
Все материалы
MathAdv: что скрывает итоговая точность машинных доказательств
Диагностический набор задач по 13 университетским и аспирантским разделам математики оценивает системы машинного доказательства в Lean 4 не только по итоговому результату, но и по владению предметом, качеству неформальных рассуждений и устойчивости к переформулировкам условий. Покомпонентный разбор показывает, что перевод задачи в формальный вид по-прежнему остаётся главным препятствием, а успех сильно зависит от области математики и от способа постановки задачи.
9 ноября 2026
AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором
Работа описывает генеративную модель, которая одновременно прогнозирует будущие RGB-наблюдения, скалярные поля и тепловые карты аффордансов и непрерывные команды робота, используя человеческие видео для расширения разнообразия взаимодействий без аннотаций действий и ретаргетинга. На RoboCasa, CALVIN ABC→D и реальных задачах подход даёт устойчивый выигрыш относительно базовых линий только на RGB и только на роботных данных.
9 ноября 2026
Правка презентаций как управляемые операции: фреймворк EditPPT и бенчмарк DeckEdit-Bench
Авторы разбирают редактирование слайдов на конкретные объекты, допустимые действия и проверку того, что постороннее содержимое осталось нетронутым, вместо свободной генерации кода. Для замера качества создан DeckEdit-Bench (183 задачи на 28 человеческих презентациях), а мультиагентная схема EditPPT на пяти базовых моделях показывает успех в 66,7–74,9% задач при сохранности выше 97%.
8 ноября 2026