Почему блочной сводки может быть недостаточно
Block-level residual routing делает обучаемую агрегацию остаточных связей практичной: маршрутизатор опирается на сводки блоков. Каждая сводка сжимает упорядоченную последовательность обновлений внимания и MLP в один кумулятивный вектор.
- Сводка сохраняет суммарный вклад блока.
- Внутриблочную траекторию обновлений она не описывает.
Практический критерий: если важен грубый сигнал о движении остаточного потока внутри блока, одной кумулятивной сводки может не хватить.
Как HAARES добавляет внутриблочный сигнал
HAARES — маршрутизатор остаточного базиса, предложенный в работе Kehan Wang, arXiv:2606.06564. Он сохраняет кумулятивный источник блока и добавляет базис деталей с половинным расщеплением.
- Базис деталей вычисляют как разность обновлений остаточного потока в первой и второй половинах блока.
- Базис согласуют по RMS и обновляют онлайн.
- Маршрутизатор получает грубую информацию о внутриблочной траектории без плотной маршрутизации на уровне подслоёв.
Практический критерий: HAARES сочетает кумулятивный источник с одним дополнительным сигналом деталей, а не маршрутизирует каждый подслой отдельно.
Где эффект проявился в экспериментах
Эксперименты охватывали OpenWebText, кросс-доменные посимвольные бенчмарки и OpenWebText с токенизацией BPE. Результат зависел от глубины модели.
| Условие | Наблюдение |
|---|---|
| Небольшая глубина | Прирост мал или неоднозначен |
| Модели с 48 слоями | Эффект наиболее стабилен |
| Конфигурация 201M с 48 слоями | HAARES превосходит Block AttnRes при всех трёх сидах |
| Проба 453M с двумя сидами | Результат показывает то же направление |
Абляции показывают, что эффект не объясняется дублированием источников, случайными знаковыми деталями или фиксированными смещениями источников деталей. Его также нельзя объяснить только изменением числа блоков.
Практический критерий: результаты дают более устойчивый аргумент в пользу метода для моделей с 48 слоями, чем для моделей небольшой глубины.
Какие затраты учитывать
Анализ затрат отмечает низкие дополнительные FLOPs, но не нулевые затраты времени. Метод добавляет расходы памяти и маршрутизации.
- Относительная арифметическая стоимость амортизируется с ростом ширины модели.
- Более ранняя сходимость может сократить время до целевого результата.
Практический критерий: оценивать HAARES стоит с учётом не только FLOPs, но и памяти, маршрутизации и времени сходимости.
