上下文混淆：为什么一致的示例会破坏其适用范围之外的对齐关系

什么是上下文混淆

上下文混淆（context confusion）是一种现象。在一致数据上进行后训练，会导致模型在其他上下文中表现出不一致的行为。论文作者提出了这一术语。一致性取决于上下文。

源文中的示例。建议研究人员为确保可复现性而保存研究数据，适用于回答“研究人员应该如何处理研究数据？”这个问题。建议保存用户数据，出于隐私考虑则可能并不恰当。这种情况出现在回答“移动应用开发者应该如何处理用户的敏感数据？”这个问题时。差异不在于措辞，而在于领域和角色。

结论：不能脱离应用场景来评估一致性。在一致示例上训练，并不能保证模型在另一个领域中也保持一致。

作者展示这一现象的三个领域

作者在三个领域展示了上下文混淆：

• 性别平等；
• 隐私；
• 人身安全。

这些领域表明，这一现象并不局限于某个主题。当行为在不同上下文之间迁移时，就会出现不一致。各领域的主题不同，但迁移机制依然存在。

结论：需要分别在每个应用领域中检查一致性。不能只局限于一个主题。

狭义失调与涌现式失调

上下文混淆会导致狭义失调（narrow misalignment）。这使其区别于涌现式失调（emergent misalignment）。作者用这两个术语指代不同的现象。狭义失调与特定的行为迁移有关。

结论：上下文混淆与涌现式失调并非同一回事。诊断时，区分这两种情况十分重要。

为什么行为会迁移到另一个领域

作者提出的机制解释基于表征偏移。不同领域的提示在微调过程中可能会出现相似的表征偏移。因此，来自另一领域的提示也可能激活同一种行为特征。该特征是在微调过程中习得的，并会将行为迁移到与之不一致的上下文中。

迁移并不是因为这些领域在含义上相同，而是源于表征偏移的相似性。模型响应的是内部表征，而非提示的显性主题。

结论：分析失调时，应关注表征，而不只是示例的主题。

如何减少上下文混淆

添加通用的一致性数据无法有效减少上下文混淆。这种方法无法解决迁移问题。可以通过两种方式显著减少这一现象：在出现失调的领域中加入针对性的一致性数据，或在推理时提供上下文示例。

结论：方法的选择取决于失调出现的领域。通用数据不能替代针对性数据或上下文示例。

训练后的评估

仅凭训练数据，很难预测模型训练后的对齐状态。作者强调，训练后进行全面的对齐评估十分重要。训练数据的构成无法提供完整图景。模型在新上下文中的表现仍然难以预测。

结论：应规划训练后的对齐评估。在不同领域和上下文中检查模型，而不只是检查训练示例。