Genesis Steering 方法:基于微调数据的激活控制
该方法从微调数据中已有的对比样例提取控制向量;若无法获取这些样例,则通过成员推断筛选可能的训练样本,并构建代理数据集。理论部分阐述了朝决策边界进行最优偏移的方法以及基于代理数据的评估;实证结果表明,Tülu-3-8B 的内部数据比外部数据集效果更显著,而 MIA 代理数据在 Llama-3.1-8B-Instruct 上的效用则受方向偏移之间关系的限制。

什么是 Genesis Steering
激活引导(activation steering)可在推理过程中控制大型语言模型。该方法的效果取决于参考数据的选择。Genesis steering 使用模型自身微调数据中的对比样例构建 genesis 向量。
如果无法获取这些数据,该方法会采用成员推断领域文献中的方法。这些方法会找出可能的训练样例,并据此构建代理数据集。
论文《Genesis Steering: Better Activation Steering Through Training Data》于 2026年10月13日提交(v1)。更新于 2026年10月19日(v2)。作者:Tora Bodin、Eric Aubinais、Ilaria Torre、Chih-Hong Cheng。
结论:Genesis steering 将引导与微调数据相结合。关键参数是对比样例的来源。
如何构建 genesis 向量
该方法从微调数据中获取对比样例,并以此构建方向向量。推理过程中会将此向量应用于模型。

作者提出了两项理论结果。第一项关于决策边界的最优偏移。第二项关于使用代理数据进行评估时偏移的降低。
结论:理论为偏移提供了指引。向量的质量取决于对比样例的选择。
通过成员推断获取代理数据
当无法获取微调数据时,该方法会采用成员推断。这种方法用于寻找可能的训练样例,并根据找到的样例构建代理数据集。
构建 genesis 向量时,代理数据集可替代原始数据。该方法将找到的样例用作参考,区别仅在于样例来源。
结论:代理数据集拓展了该方法的适用范围。适用条件是无法访问微调数据。
模型评估结果
评估使用了 Tülu-3-8B 和 Llama-3.1-8B-Instruct。Tülu-3-8B 的微调数据公开可用。Llama-3.1-8B-Instruct 则作为对照模型。
来自 Tülu-3-8B 训练混合数据的安全数据,比外部数据集带来了更强的引导效果。这一结果在两个模型上都成立。
在 Tülu-3-8B 上,用于识别训练样例的成员资格评估结果高度一致。根据评分最高的样例构建的向量,效果与同等规模的随机子集相当。
Llama-3.1-8B-Instruct 的结果为 MIA 设定了适用条件。只有当经过筛选的 MIA 域内数据的平均方向偏移显著小于 OoD 数据的偏移时,该方法才能产生正向效果。
结论:使用模型自身的微调数据进行引导,效果强于使用外部数据集。采用 MIA 时,需要验证方向偏移条件。
实用选择标准
方法的选择取决于是否能访问微调数据。下表列出了不同情形下的操作和验证方式。
| 情形 | 操作 | 验证 |
|---|---|---|
| 可以访问微调数据 | 使用这些数据中的对比样例构建 genesis 向量 | 与外部数据集进行比较 |
| 无法访问数据 | 通过成员推断寻找可能的训练样例,并构建代理数据集 | 验证平均方向偏移条件 |
| 已构建代理数据集 | 根据评分最高的样例构建向量 | 与同等规模的随机子集进行比较 |
结论:选择 Genesis steering 时,应根据能否访问微调数据来决定。使用代理数据集时,需要验证方向偏移条件,并与随机子集进行比较。
常问问题
相关材料
所有材料
基于稀疏专家的表格上下文学习:紧凑型 OrionMoE-Small-v1.0
这是一款面向表格任务的紧凑型基础模型,可根据已标注的参考表格预测新观测,无需微调参数。结合数据集和特征表示进行自适应专家选择,能够取得具有竞争力的效果,尤其是在上下文较少、维度较高时。
15 十一月 2026
针对预测结果不可靠的用户画像进行协变量偏移的局部搜索
本文介绍了一种诊断流程:首先识别模型置信度较低且具有可解释性的患者群体,然后在这些群体中检测是否存在有害的协变量偏移。在 MIMIC-IV 上针对三项临床任务和三种人工构造的子群体偏移进行的实验表明,该方法能够定位在聚合评估中不易察觉的年龄偏移。
15 十一月 2026
FedPix:从客户端传输压缩图像,以减少联邦学习中的信息泄露
本文探讨了应允许客户端向服务器发送哪些信息,并建议训练系统传输紧凑且可通过视觉检查的图像,而非模型权重或中间表示。在 BloodMNIST、CIFAR-10、FashionMNIST 和 MNIST 上,该方法的重建 PSNR 较低,并将客户端耗时缩短至原来的 96.0%,准确率为 65.63–99.18%。
15 十一月 2026