Что меняет LocalProp
LocalProp — процедура обучения, которая локально обновляет веса модели. Авторы противопоставляют её сквозному распространению градиента через всю модель. Сквозной проход не соответствует биологически правдоподобному обучению. Он также неэффективен по памяти. Обучение в мозге сильно локализовано.
| Критерий | Сквозное распространение градиента | LocalProp |
|---|---|---|
| Обновление весов | Проходит через всю модель | Локальное |
| Биологическое правдоподобие | Не соответствует | Опирается на локализованное обучение в мозге |
| Память | Неэффективно | Используется лишь часть пиковой памяти GPU |
| Управление | Нет отдельного параметра | Число совместно оптимизируемых блоков |
Вывод: LocalProp заменяет сквозной проход локальными обновлениями. Это снижает нагрузку на память.
Этапы обучения
LocalProp следует схеме «pre-training then fine-tuning». Этапы выстраиваются в последовательность.
- Предварительное обучение на I-JEPA.
- Локальное обновление весов.
- Pruning.
- Короткий заключительный fine-tuning.
Вывод: схема сочетает предобучение, локальные обновления, прореживание и финальную настройку.
Роль pruning
Pruning передаёт обучающий сигнал от верхних блоков к нижним. Этот этап не сводится к сжатию модели. Он связывает верхние и нижние блоки во время обучения. Вывод: pruning в LocalProp работает как канал передачи сигнала между блоками.
Компромисс точности и памяти
Число совместно оптимизируемых блоков задаёт длину распространения градиента. Авторы определяют эту длину как практический параметр. Параметр управляет компромиссом между точностью и использованием памяти.
- Что меняется: длина распространения градиента.
- Чем управляет: балансом точности и памяти.
- Как используется: через число совместно оптимизируемых блоков.
Вывод: настройка числа блоков даёт ручку для баланса.
Результаты и критерий выбора
Авторы провели эксперименты на нескольких датасетах. Среди них крупномасштабные бенчмарки, включая ImageNet. LocalProp достигает хороших результатов при использовании лишь части пиковой памяти GPU. Конкретная доля в тексте не указана. Практический критерий: LocalProp подходит, когда сквозной обратный проход упирается в память GPU. Число совместно оптимизируемых блоков позволяет настроить баланс.
