Подход OWP: перераспределение свидетельств и априорных сигналов в Omni-LLM

17 ноября 20261 просмотров

Предлагается не требующий обучения фреймворк Omni-Woodpecker, который выявляет конфликты между модальностями и перед декодированием меняет баланс между данными контекста и заученными приорами в скрытых состояниях. На Qwen2.5-Omni-7B и VideoLLaMA2-AV метод повышает устойчивость к аудиовизуальным ошибкам на CMM и AVHBench, а на общих бенчмарках рассуждений даёт умеренный прирост.

Подход OWP: перераспределение свидетельств и априорных сигналов в Omni-LLM

Что такое OWP и какую проблему решает

Omni-Woodpecker (OWP) — training-free framework для коррекции межмодальных галлюцинаций у Omni LLMs. Метод переносит коррекцию с уровня выходных данных на перебалансировку представлений, обусловленную конфликтом модальностей. Авторы подали статью 19 октября 2026 года: Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He.

Традиционная коррекция работает с готовым ответом. OWP вмешивается во внутренние представления до декодирования. Это меняет точку приложения метода.

Вывод: OWP меняет точку коррекции, а не правит готовый ответ.

Этапы перераспределения свидетельств и априорных сигналов

OWP выполняет перебалансировку в несколько этапов. Сначала метод выявляет межмодальные конфликты по дополнительным представлениям отдельных модальностей.

  • Выявление межмодальных конфликтов по дополнительным представлениям отдельных модальностей.
  • Ортогональное разложение скрытых состояний для отделения grounding-свидетельств от конкурирующих априорных оценок.
  • Адаптивная перебалансировка объединённых представлений: подавление вводящих в заблуждение априоров и восстановление проигнорированных свидетельств.
  • Передача исправленных представлений в декодирование.

Метод не меняет веса модели. Он корректирует представления перед генерацией.

Вывод: OWP не требует обучения и правок весов. Он воздействует на скрытые состояния до декодирования.

Результаты: приросты на бенчмарках и переносимость

На Qwen2.5-Omni-7B OWP повышает результаты на 12,9 и 8,6 пункта на CMM и AVHBench. На четырёх общих бенчмарках рассуждений OLLM прирост составляет 0,67–2,25 пункта.

МодельCMMAVHBench
Qwen2.5-Omni-7B+12,9 пункта+8,6 пункта
VideoLLaMA2-AV+4,6 пункта+3,9 пункта

Метод показал переносимость на VideoLLaMA2-AV: улучшение на 4,6 и 3,9 пункта на CMM и AVHBench. Авторы сообщают об эффективности и переносимости между архитектурами. Код публично доступен.

Вывод: прирост зависит от модели и бенчмарка. Практический критерий: перед внедрением стоит проверить OWP на своей архитектуре и целевом наборе задач.

Практические критерии выбора OWP

OWP подходит при нескольких условиях. Метод работает без обучения и без изменения весов модели.

  • Нужна коррекция межмодальных галлюцинаций без обучения.
  • Доступны скрытые состояния и представления отдельных модальностей.
  • Требуется вмешательство до декодирования, а не постобработка ответа.
  • Есть возможность воспроизвести метод: код публично доступен.

OWP — training-free способ перебалансировать свидетельства и априорные сигналы. Авторы заявляют переносимость между архитектурами. Проверка на конкретной модели остаётся обязательным шагом.

Часто задаваемые вопросы

Похожие материалы

Все материалы
LightCRS: компактная мультидоменная схема диалоговых рекомендаций без отдельной VLM на категорию
Новости

LightCRS: компактная мультидоменная схема диалоговых рекомендаций без отдельной VLM на категорию

Авторы представляют систему, где товарные мультимодальные признаки считаются офлайн замороженными энкодерами, а в диалоге их обрабатывает общий для всех доменов модуль на 5,3 млн параметров с cross-attention, зависящим от запроса. На бенчмарке из 25 доменов подход улучшает средние метрики ранжирования, заметно снижает задержку и показывает, что совместное обучение даёт прирост относительно отдельных однодоменных моделей.

16 ноября 2026
Ограниченный ремонт тактик в Lean 4 с опорой на диагностику компилятора
Новости

Ограниченный ремонт тактик в Lean 4 с опорой на диагностику компилятора

Предлагается пошаговый модуль, который не отбрасывает отклонённую тактику, а до R раз поручает модели-корректору исправить её с учётом ошибки Lean; при K кандидатах это повышает долю решённых задач. Опыты на LeanDojo и Lean Workbook показывают прирост в основном за счёт неглубоких сбоев исполнения, ценой увеличения времени поиска.

16 ноября 2026
Метод Genesis Steering: активационное управление на данных, использованных при дообучении
Новости

Метод Genesis Steering: активационное управление на данных, использованных при дообучении

Метод выводит вектор управления из контрастных примеров, присутствовавших в данных дообучения, а при их недоступности отбирает вероятные обучающие образцы через membership inference и формирует прокси-набор. Теоретическая часть описывает оптимальное смещение к границе решения и оценку по прокси-данным; эмпирически внутренние данные Tülu-3-8B дают более выраженный эффект, чем внешние наборы, тогда как полезность MIA-прокси на Llama-3.1-8B-Instruct ограничена соотношением сдвигов направления.

16 ноября 2026
OWP: training-free коррекция галлюцинаций Omni-LLM