Что получает маршрутизатор
В MoE языковых моделях маршрутизатор выбирает экспертов и назначает им веса по скрытому состоянию токена. При этом он использует ограниченную контекстную информацию.
Attention-Aware Routing (AAR) дополняет этот сигнал временными и спектральными признаками. Их извлекают из скользящего окна весов внимания.
- Обычная маршрутизация опирается на скрытое состояние токена.
- AAR добавляет признаки внимания, которые суммируют контекстное состояние отдельно от скрытого состояния.
Практический критерий: при анализе выбора экспертов нужно различать сигнал токена и дополнительную сводку контекста.
Как устроен AAR
AAR получает временные и спектральные признаки из скользящего окна весов внимания. Так маршрутизатор использует контекстный сигнал, отделённый от скрытого состояния токена.
Авторы оставляют базовый трансформер полностью замороженным и обучают только параметры маршрутизации. Это позволяет изучать маршрутизацию как единственную изменяемую переменную.
Критерий оценки метода — отделять эффект маршрутизации от изменений остальных параметров модели.
Почему маршрутизация меняет внимание
Маршрутизация и внимание связаны через последовательность слоёв. Изменения маршрутизации на слое l проходят через остаточный поток и усиливают attention sinks на слое l+1.
Это меняет внимание без прямого обновления его механизма. Значит, выбор экспертов может влиять на последующую обработку контекста.
При разборе результатов важно учитывать эту связь: внимание здесь не только входной сигнал для маршрутизатора, но и часть цепочки последствий маршрутизации.
Что показали результаты
На OLMoE AAR повысил результат GSM8K на 3,37 процентного пункта относительно базового варианта SFT только с маршрутизацией.
| Показатель | Результат AAR |
|---|---|
| GSM8K | +3,37 процентного пункта относительно базового варианта |
| Неверные ответы | Стали короче в длинных расходящихся генерациях |
| Правильные ответы | Длина не изменилась |
Эти результаты описывают конкретную оценку. Они не показывают, что AAR одинаково влияет на все задачи.
При сравнении вариантов стоит отдельно учитывать результат на задаче и длину генерации: эти показатели менялись по-разному.
Почему важно, на каких слоях включать AAR
Эффект AAR зависит от глубины. Если применять его без разбора на разных слоях, качество фактического извлечения может снизиться.
При применении на более глубоких слоях преимущества в математическом рассуждении сохраняются. Это выявляет противоречие между извлечением информации и рассуждением на разных глубинах.
- Для оценки фактического извлечения важно проверять, не ухудшает ли его применение AAR на разных слоях.
- Для математического рассуждения важно учитывать результат на более глубоких слоях.
- Выборочное применение позволяет исследовать, какую информацию для маршрутизации несёт внимание на каждой глубине.
Практический критерий — оценивать слои раздельно, а не считать сигнал внимания одинаково полезным на всей глубине модели.
