Дробление токенов в мультимодальных трансформерах: когда внимание сохраняет вклад представления
Работа выясняет, при каких условиях разбиение входного представления на большее число элементов не меняет его вклад при сохранении содержания, позиции, видимого контекста и суммарной массы. Для положительных ядер внимания с неубывающим локальным множителем массы инвариантность достигается только при его линейности; на Qwen2.5-Omni-7B и видео-бенчмарках массовое взвешивание снижает дрейф и повышает точность при сжатии.
Симметрия уточнения: что проверяет принцип
Число весов внимания зависит от числа токенов. Смена представления сигнала меняет это число. Значит, дробление входа затрагивает механику внимания.
Статья «Refinement Symmetry in Multimodal Transformers» (Yuhao Du, Shunian Chen) подана 26 сентября 2026 года. Она вводит симметрию уточнения как условие сохранения вклада.
Разделение представления сохраняет вклад, если сохраняются четыре свойства:
- содержание;
- позиция;
- видимый контекст;
- общая масса.
Практический критерий: перед сменой нарезки токенов проверьте эти четыре свойства. Потеря хотя бы одного лишает вклад гарантии.
Линейность локального множителя массы
Авторы опираются на пропорциональное внимание и квадратурное внимание. Их вывод: инвариантность к разделению требует линейного локального множителя массы. Условие действует для любого фиксированного положительного ядра внимания. Множитель при этом не убывает.
Из требования следуют три проверки:
- нелинейный множитель меняет вклад при дроблении;
- линейность сохраняет вклад;
- неубывание сужает круг допустимых схем.
Практический критерий: проверяйте схему взвешивания на линейность до дробления. Нелинейность предсказывает смену результата.
Физическое сопряжение и границы ошибки внимания
Для изменённых представлений работает физическое сопряжение. Оно ограничивает ошибку внимания. Ограничение разделяет два источника:
- изменение признаков;
- перераспределение весов.
Практический критерий: анализируйте оба источника отдельно. Так видно, что исправлять — признаки или веса.
Проверка на Qwen2.5-Omni-7B: ответы MVBench
В Qwen2.5-Omni-7B утроение половины визуальных токенов меняет 255 ответов из 3 586 на MVBench. Это результат стандартного внимания. Взвешивание по мере сохраняет каждый ответ. Видимость остаётся сопоставимой.
| Схема | Изменённые ответы | Видимость |
|---|---|---|
| Стандартное внимание | 255 из 3 586 | — |
| Взвешивание по мере | нет | сопоставима |
Вывод: расхождение создаёт не дробление само по себе, а способ учёта массы.
Практический критерий: при дроблении визуальных токенов переходите на взвешивание по мере. Оно удерживает ответы при том же видимом контексте.
Повторная выборка кадров и дрейф распределения
При естественной повторной выборке кадров взвешивание по мере уменьшает дрейф распределения. Эффект шире сохранения отдельных ответов.
Практический критерий: при смене частоты кадров следите за дрейфом распределения, а не только за точностью. Взвешивание по мере его снижает.
Сжатие видео: измеренный выигрыш
Оценку вели при двукратном объединении замороженного видео-кодирования. Использовали пять случайных начальных значений. Прирост точности был правильным для всех разбиений.
| Базовая схема | Прирост точности |
|---|---|
| Глобальное взвешивание по числу токенов (средняя масса группы) | 1,04 процентного пункта |
| Стандартное внимание | 0,93 процентного пункта |
Преимущество перед глобальным взвешиванием по числу токенов наблюдается и на WorldSense. Оно зависит от бюджета сжатия.
Практический критерий: при сильном сжатии видео сверяйтесь с бюджетом. Выигрыш от взвешивания по мере не постоянен.
Что даёт принцип представления
Авторы подают результат как принцип представления с измеренным выигрышем в устойчивости к разбиениям. Речь не о разовых правках, а о правиле работы с дроблением.
Практический критерий: сначала зафиксируйте представление и его массу, затем настраивайте веса. Так дробление перестаёт менять ответы.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Медицинские LLM узнают о пересмотре рекомендаций, но часто отвечают по прежним правилам
Исследование ChronoEvo на 1709 изменениях клинических рекомендаций показывает: в основной модели 90,8% ответов фиксировали новшество, однако полностью применяли его только 58,5%, а разрыв в 32,3 п.п. сохранялся у 14 моделей. Даже усиление заметности обновлений не дало значимого прироста в полном переносе новых правил в клиническую рекомендацию.
4 ноября 2026
Модель мира для агентов на закрытых LLM: коррекция в точках риска
Предложен PAWM — внешний предиктор, который не дублирует пошаговое наблюдение, а включается при вероятном сбое и уводит агента от ошибочного действия. После SFT на синтетических сценариях и GRPO-кообучения метод дал прирост 24,3% в ScienceWorld и 7,7% в WebArena-Lite для Claude Sonnet 4.5.
4 ноября 2026
Классификационная надстройка над SpeechLLM: где она обходит генерацию меток при распознавании эмоций
На материале IEMOCAP и MELD сопоставлены генеративный вывод эмоциональной метки и линейный классификатор поверх скрытых представлений компактной SpeechLLM. Прирост качества от классификатора не универсален: он зависит от корпуса и от того, используются эталонные транскрипты или результаты ASR.
4 ноября 2026