Разнообразие на входе, а не в рассуждении: сравнение методов тестовой аугментации для LLM

8 ноября 202615 просмотров

Работа сопоставляет источники вариативности при инференсе LLM — перефразирование запроса, изменение написания и преобразования изображений — при равном числе вызовов. На шести бенчмарках сохранение смысла давало лучший прирост точности, тогда как посимвольный шум и одновременные возмущения двух модальностей оказывались менее полезными.

Разнообразие на входе, а не в рассуждении: сравнение методов тестовой аугментации для LLM

Два источника разнообразия: вход и рассуждение

Test-Time Augmentation (TTA) объединяет предсказания по преобразованным версиям входных данных. Разнообразие создают перефразирование вопроса, изменение написания или преобразование сопровождающих изображений. Self-consistency действует иначе: меняет только путь рассуждения и повторно использует фиксированный вход.

МетодИсточник разнообразия
TTAпреобразованные версии входных данных
Self-consistencyпуть рассуждения при фиксированном входе

TTA проверяет устойчивость к изменениям входа. Self-consistency проверяет устойчивость рассуждения при одном входе. Выбор зависит от того, какой источник разнообразия нужен для задачи.

Почему равенство инференс-вызовов меняет вывод

Авторы сравнивали варианты на шести бенчмарках. Число инференс-вызовов было одинаковым. Такое условие отделяет эффект источника разнообразия от эффекта дополнительных вычислений.

  • шесть бенчмарков;
  • равное число вызовов;
  • сравнение источников, а не объёма.

Авторы сообщают: источник разнообразия важнее его количества. Вывод для выбора: сравнивать методы стоит при равном числе вызовов. Иначе рост точности можно приписать источнику, а не дополнительным вызовам.

Перефразирование: прирост и ранний пик

Перефразирование входа с сохранением смысла дало наибольший прирост точности. Прирост составил +1.80 процентного пункта к одному вызову. Пиковая точность достигалась с наименьшим числом образцов.

Для моделей среднего уровня, таких как Claude Haiku, изменение формулировки вопроса оказалось более эффективным использованием инференс-вызова, чем изменение пути рассуждения.

Практический вывод: если преобразование сохраняет смысл, перефразирование — первый кандидат для TTA. Оно даёт и прирост, и ранний пик.

Посимвольный шум: много расхождений, мало пользы

Посимвольный шум вызывал больше расхождений между ответами: 37.8% против 27.4%. Прирост точности оказался ниже. Высокий разброс ответов не означает пользы для агрегации.

Расхождения после порчи смысла ошибочны. Такие расхождения не дают полезного сигнала для агрегации.

Практический вывод: оценивать точность, а не только долю расхождений. Посимвольный шум не заменяет преобразования с сохранением смысла.

Двойное возмущение: когда комбинация проигрывает

Одновременное возмущение двух модальностей давало результат ниже базового уровня одного вызова. Комбинация преобразований не гарантирует выигрыш.

  • возмущение двух модальностей одновременно;
  • результат ниже базового уровня одного вызова;
  • отдельная проверка комбинации.

Практический вывод: комбинировать модальности стоит только после отдельного сравнения. Иначе TTA может уйти ниже одного вызова.

Практический выбор метода

Критерии выбора опираются на источник разнообразия, сохранение смысла и равное число вызовов.

ЗадачаМетод
Проверить устойчивость к формулировкеTTA с перефразированием
Проверить устойчивость рассуждения при том же входеself-consistency
Оценить чувствительность к написаниюTTA с посимвольным шумом
Комбинировать модальноститолько после отдельного сравнения

Практический критерий: выбирать источник разнообразия под задачу. Для прироста точности от TTA перефразирование даёт наибольший измеренный эффект. Для проверки рассуждения при том же входе остаётся self-consistency.

Часто задаваемые вопросы

Похожие материалы

Все материалы
MathAdv: что скрывает итоговая точность машинных доказательств
Новости

MathAdv: что скрывает итоговая точность машинных доказательств

Диагностический набор задач по 13 университетским и аспирантским разделам математики оценивает системы машинного доказательства в Lean 4 не только по итоговому результату, но и по владению предметом, качеству неформальных рассуждений и устойчивости к переформулировкам условий. Покомпонентный разбор показывает, что перевод задачи в формальный вид по-прежнему остаётся главным препятствием, а успех сильно зависит от области математики и от способа постановки задачи.

9 ноября 2026
AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором
Исследования

AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором

Работа описывает генеративную модель, которая одновременно прогнозирует будущие RGB-наблюдения, скалярные поля и тепловые карты аффордансов и непрерывные команды робота, используя человеческие видео для расширения разнообразия взаимодействий без аннотаций действий и ретаргетинга. На RoboCasa, CALVIN ABC→D и реальных задачах подход даёт устойчивый выигрыш относительно базовых линий только на RGB и только на роботных данных.

9 ноября 2026
Правка презентаций как управляемые операции: фреймворк EditPPT и бенчмарк DeckEdit-Bench
Новости

Правка презентаций как управляемые операции: фреймворк EditPPT и бенчмарк DeckEdit-Bench

Авторы разбирают редактирование слайдов на конкретные объекты, допустимые действия и проверку того, что постороннее содержимое осталось нетронутым, вместо свободной генерации кода. Для замера качества создан DeckEdit-Bench (183 задачи на 28 человеческих презентациях), а мультиагентная схема EditPPT на пяти базовых моделях показывает успех в 66,7–74,9% задач при сохранности выше 97%.

8 ноября 2026
Тестовая аугментация LLM: сравнение методов на бенчмарках