Задача безопасности в открытых моделях
L'intégration de mécanismes de protection robustes dans les grands modèles de langage est indispensable pour des réponses utiles et inoffensives.
- Les systèmes propriétaires affichent un contrôle de sécurité fiable.
- Leurs méthodes et leurs compromis restent en grande partie non divulgués.
- Atteindre une sécurité comparable dans les modèles ouverts demeure un problème persistant.
- Les variantes post-entraînées souffrent souvent de refus excessifs et d'une baisse de la qualité générale.
Suan est un nouvel algorithme d'optimisation des préférences. Il a été conçu pour surmonter ces limites. Critère pratique : si un modèle ouvert refuse trop souvent et perd en qualité, il faut une méthode qui corrige l'alignement de sécurité sans perte d'utilité.
Optimisation directe par gradient
Suan formule son objectif d'optimisation directement au niveau du gradient. Cette approche contourne l'inférence variationnelle standard. Il en résulte un entraînement plus interprétable et plus stable.
| Aspect | Ce que Suan change par rapport à l'approche standard |
|---|---|
| Formulation de l'objectif | Niveau direct du gradient au lieu de l'inférence variationnelle standard |
| Dynamique d'entraînement | Plus interprétable et plus stable |
Le critère de choix : regarder où l'objectif est formulé. Le niveau direct du gradient offre une dynamique d'entraînement plus transparente.
Évaluation et résultats
Suan a fait l'objet d'évaluations approfondies. Elles couvrent un ensemble varié de méthodes de référence concurrentes et de benchmarks.
- L'algorithme atteint un alignement de sécurité supérieur.
- L'algorithme préserve entièrement l'utilité des réponses.
Critère pratique : comparer la sécurité et l'utilité ensemble. Une évaluation fondée uniquement sur les refus ne montre pas la qualité générale. Une évaluation fondée uniquement sur la qualité ne montre pas la protection.
Données de publication
L'article s'intitule « Suan: Rectifying Direct Preference Safety Alignment in Large Language Models ».
- Auteurs — Oleksandr Cherednichenko, Roman Klypa.
- arXiv:2609.08634 (cs).
- Date de soumission — 8 septembre 2026.
- Thématiques : Machine Learning (cs.LG) ; Artificial Intelligence (cs.AI).
- DOI : https://doi.org/10.48550/arXiv.2609.08634 (pending registration).
- Historique de soumission : par Oleksandr Cherednichenko ; [v1] Tue, 8 Sep 2026 12:04:38 UTC (426 KB).
- Cite as arXiv:2609.08634 [cs.LG] (or arXiv:2609.08634v1 [cs.LG] for this version).
Critère pratique : pour la référence, utiliser l'arXiv ID et le DOI. Le DOI est en cours d'enregistrement.
