Genesis Steering 方法:基于微调数据的激活控制

16 十一月 20261 视图

该方法从微调数据中已有的对比样例提取控制向量;若无法获取这些样例,则通过成员推断筛选可能的训练样本,并构建代理数据集。理论部分阐述了朝决策边界进行最优偏移的方法以及基于代理数据的评估;实证结果表明,Tülu-3-8B 的内部数据比外部数据集效果更显著,而 MIA 代理数据在 Llama-3.1-8B-Instruct 上的效用则受方向偏移之间关系的限制。

Genesis Steering 方法:基于微调数据的激活控制

什么是 Genesis Steering

激活引导(activation steering)可在推理过程中控制大型语言模型。该方法的效果取决于参考数据的选择。Genesis steering 使用模型自身微调数据中的对比样例构建 genesis 向量。

如果无法获取这些数据,该方法会采用成员推断领域文献中的方法。这些方法会找出可能的训练样例,并据此构建代理数据集。

论文《Genesis Steering: Better Activation Steering Through Training Data》于 2026年10月13日提交(v1)。更新于 2026年10月19日(v2)。作者:Tora Bodin、Eric Aubinais、Ilaria Torre、Chih-Hong Cheng。

结论:Genesis steering 将引导与微调数据相结合。关键参数是对比样例的来源。

如何构建 genesis 向量

该方法从微调数据中获取对比样例,并以此构建方向向量。推理过程中会将此向量应用于模型。

作者提出了两项理论结果。第一项关于决策边界的最优偏移。第二项关于使用代理数据进行评估时偏移的降低。

结论:理论为偏移提供了指引。向量的质量取决于对比样例的选择。

通过成员推断获取代理数据

当无法获取微调数据时,该方法会采用成员推断。这种方法用于寻找可能的训练样例,并根据找到的样例构建代理数据集。

构建 genesis 向量时,代理数据集可替代原始数据。该方法将找到的样例用作参考,区别仅在于样例来源。

结论:代理数据集拓展了该方法的适用范围。适用条件是无法访问微调数据。

模型评估结果

评估使用了 Tülu-3-8B 和 Llama-3.1-8B-Instruct。Tülu-3-8B 的微调数据公开可用。Llama-3.1-8B-Instruct 则作为对照模型。

来自 Tülu-3-8B 训练混合数据的安全数据,比外部数据集带来了更强的引导效果。这一结果在两个模型上都成立。

在 Tülu-3-8B 上,用于识别训练样例的成员资格评估结果高度一致。根据评分最高的样例构建的向量,效果与同等规模的随机子集相当。

Llama-3.1-8B-Instruct 的结果为 MIA 设定了适用条件。只有当经过筛选的 MIA 域内数据的平均方向偏移显著小于 OoD 数据的偏移时,该方法才能产生正向效果。

结论:使用模型自身的微调数据进行引导,效果强于使用外部数据集。采用 MIA 时,需要验证方向偏移条件。

实用选择标准

方法的选择取决于是否能访问微调数据。下表列出了不同情形下的操作和验证方式。

情形操作验证
可以访问微调数据使用这些数据中的对比样例构建 genesis 向量与外部数据集进行比较
无法访问数据通过成员推断寻找可能的训练样例,并构建代理数据集验证平均方向偏移条件
已构建代理数据集根据评分最高的样例构建向量与同等规模的随机子集进行比较

结论:选择 Genesis steering 时,应根据能否访问微调数据来决定。使用代理数据集时,需要验证方向偏移条件,并与随机子集进行比较。

常问问题

Genesis Steering 方法:基于微调数据的激活控制