Слияние моделей по совместимым группам: GRAM снижает интерференцию подпространств

Проблема интерференции подпространств

Слияние разных моделей в одну нужно для многозадачного развертывания. В регулируемых областях, например в здравоохранении, данные часто остаются локальными. Поэтому объединение работает только с дообученными весами.

Прежние методы применяют одинаковое объединение для всех задач. Они не учитывают геометрические отношения между выученными подпространствами. Если обновления задач занимают невыравненные подпространства, проекция на общую низкоранговую основу отбрасывает важные направления. Это явление авторы называют subspace interference.

Ошибку проекции для каждой задачи определяет выравнивание главных углов. Выравнивание главных углов показывает, насколько подпространство задачи совпадает с общим подпространством. Вывод: одинаковое объединение создает риск потери направлений, важных для отдельных задач.

Механика GRAM: группы по главным углам

GRAM (Group-wise Rank-Aware Model Merging) использует геометрию главных углов векторов задач. Метод работает в три этапа:

1. Рассчитать главные углы между векторами задач.
2. Определить по этим углам, какие задачи объединять вместе.
3. Выполнить стандартное объединение на основе SVD внутри каждой группы.

На этапе объединения метод использует только дообученные весы. Метод не требует доступа к исходным данным. Группировка геометрически совместимых задач, по утверждению авторов, доказуемо уменьшает ошибку проекции внутри каждой группы.

Практический критерий: GRAM подходит, когда данные нельзя передавать, а задачи могут занимать невыравненные подпространства. Метод дает способ разделить задачи на совместимые группы до объединения.

Что меняется при K=2

Сценарий с добавлением только одной модели (K=2) показывает эффект GRAM. В этом случае метод значительно уменьшает subspace interference. Он стабильно превосходит предыдущие методы объединения в тестах.

Проверки охватывают три направления:

• понимание языка — GLUE with Flan-T5;
• компьютерное зрение — 8-task CLIP;
• медицинское instruction tuning — Qwen2-7B-Instruct with four English/Chinese medical LoRAs.

Вывод: преимущество проявляется уже при слиянии двух моделей. Для минимального сценария добавления одной дообученной модели GRAM дает проверенный вариант снижения интерференции.

Критерии выбора

Выбор между одинаковым объединением и групповым подходом опирается на условия задачи. Ниже — критерии, которые следуют из описания GRAM.

Практический вывод: если данные остаются локальными, а задачи разнородны по геометрии подпространств, групповое объединение снижает риск потери направлений. Одинаковое объединение для всех задач такой риск не учитывает.