安全对齐在开放模型中的挑战
在大型语言模型中植入可靠的防护机制，对于给出有用且无害的回答是必要的。
- 专有系统展现出可靠的安全控制。
- 它们的方法与取舍基本未公开。
- 在开放模型中达到同等安全水平仍是一个持续存在的难题。
- 经后训练得到的变体常常过度拒答，并导致整体质量下降。
Suan 是一种新的偏好优化算法。它的诞生正是为了克服这些缺陷。实用判断标准：如果开放模型拒答过于频繁且质量下降，就需要一种能在不损失有用性的前提下修正安全对齐的方法。
直接梯度优化
Suan 直接在梯度层面构建优化目标。这种做法绕开了标准的变分推断。其结果是训练变得更具可解释性，也更稳定。
| 方面 | Suan 相对标准做法改变了什么 |
|---|---|
| 目标构建 | 直接梯度层面，而非标准的变分推断 |
| 训练动态 | 更具可解释性且更稳定 |
判断标准是看目标在哪里构建。直接梯度层面带来更透明的训练动态。
评估与结果
Suan 经过了大量评估。这些评估涵盖了多样化的竞争性基线方法与基准测试。
- 该算法实现了出色的安全对齐。
- 该算法完整保留了回答的有用性。
实用判断标准：把安全性与有用性放在一起比较。只看拒答率无法反映整体质量。只看质量无法反映防护能力。
输出信息
论文标题为《Suan: Rectifying Direct Preference Safety Alignment in Large Language Models》。
- 作者为 Oleksandr Cherednichenko、Roman Klypa。
- arXiv:2609.08634 (cs)。
- 提交日期为 2026 年 9 月 8 日。
- 主题分类：Machine Learning (cs.LG)；Artificial Intelligence (cs.AI)。
- DOI: https://doi.org/10.48550/arXiv.2609.08634 (pending registration).
- 提交历史：来自 Oleksandr Cherednichenko；[v1] Tue, 8 Sep 2026 12:04:38 UTC (426 KB)。
- Cite as arXiv:2609.08634 [cs.LG] (or arXiv:2609.08634v1 [cs.LG] for this version)。
实用判断标准：引用时使用 arXiv ID 和 DOI。DOI 目前正在注册中。
