按兼容组进行模型融合：GRAM 降低子空间干扰

子空间干扰问题

将不同模型合并为一个模型，是实现多任务部署的必要条件。在医疗保健等受监管领域，数据通常保留在本地。因此，合并只能基于微调后的权重进行。

以往的方法对所有任务采用相同的合并方式，没有考虑已学习子空间之间的几何关系。如果各任务的更新占据了未对齐的子空间，那么投影到公共低秩基底时就会舍弃重要方向。作者将这一现象称为子空间干扰（subspace interference）。

每个任务的投影误差由主角对齐程度决定。主角对齐程度反映了任务子空间与公共子空间的重合程度。结论是：相同的合并方式会带来丢失单个任务重要方向的风险。

GRAM 的机制：按主角分组

GRAM（Group-wise Rank-Aware Model Merging）利用任务向量的主角几何结构。该方法分三个阶段：

1. 计算任务向量之间的主角。
2. 根据这些角度确定哪些任务应当合并在一起。
3. 在每个组内基于 SVD 执行标准合并。

在合并阶段，该方法仅使用微调后的权重，无需访问原始数据。作者声称，将几何上兼容的任务分组，可以从理论上保证降低每个组内的投影误差。

实用标准：当数据无法传输，且任务可能占据未对齐的子空间时，GRAM 是合适的选择。该方法能够在合并前将任务划分为兼容的组。

K=2 时的变化

仅添加一个模型（K=2）的场景展示了 GRAM 的效果。在这种情况下，该方法显著减少了子空间干扰，并在测试中稳定优于以往的合并方法。

测试涵盖三个方向：

• 语言理解——GLUE with Flan-T5；
• 计算机视觉——8-task CLIP；
• 医疗指令微调——Qwen2-7B-Instruct with four English/Chinese medical LoRAs。

结论是：即使只合并两个模型，也能体现出优势。对于仅添加一个微调模型的最小场景，GRAM 提供了一种经验证的降低干扰的方法。

选择标准

在相同的合并方式与分组方法之间做出选择，取决于任务条件。以下标准基于对 GRAM 的描述。

实用结论：如果数据保留在本地，且任务的子空间几何结构各不相同，那么分组合并可以降低丢失重要方向的风险。对所有任务采用相同的合并方式则无法考虑这一风险。