Задача безопасности в открытых моделях
La implementación de mecanismos de defensa robustos en los grandes modelos de lenguaje es necesaria para ofrecer respuestas útiles e inofensivas.
- Los sistemas propietarios muestran un control de seguridad sólido.
- Sus métodos y compensaciones permanecen en gran medida sin revelar.
- Alcanzar una seguridad comparable en los modelos abiertos sigue siendo un problema persistente.
- Las variantes postentrenadas a menudo sufren de rechazos excesivos y de una caída de la calidad general.
Suan es un nuevo algoritmo de optimización de preferencias. Está creado para superar estas deficiencias. Criterio práctico: si un modelo abierto rechaza con demasiada frecuencia y pierde calidad, se necesita un método que corrija la alineación de seguridad sin perder utilidad.
Optimización directa por gradiente
Suan formula el objetivo de optimización directamente a nivel de gradiente. Este enfoque evita la inferencia variacional estándar. Como resultado, el entrenamiento se vuelve más interpretable y estable.
| Aspecto | Qué cambia Suan respecto al enfoque estándar |
|---|---|
| Formulación del objetivo | Nivel de gradiente directo en lugar de la inferencia variacional estándar |
| Dinámica de entrenamiento | Más interpretable y estable |
El criterio de elección es observar dónde se formula el objetivo. El nivel de gradiente directo ofrece una dinámica de entrenamiento más transparente.
Evaluación y resultados
Suan pasó por extensas evaluaciones. Estas abarcan un conjunto diverso de métodos base y benchmarks competitivos.
- El algoritmo alcanza una alineación de seguridad superior.
- El algoritmo conserva por completo la utilidad de las respuestas.
Criterio práctico: comparar la seguridad y la utilidad en conjunto. Evaluar solo los rechazos no muestra la calidad general. Evaluar solo la calidad no muestra la protección.
Datos de salida
El artículo se titula «Suan: Rectifying Direct Preference Safety Alignment in Large Language Models».
- Autores: Oleksandr Cherednichenko, Roman Klypa.
- arXiv:2609.08634 (cs).
- Fecha de envío: 8 de septiembre de 2026.
- Temáticas: Machine Learning (cs.LG); Artificial Intelligence (cs.AI).
- DOI: https://doi.org/10.48550/arXiv.2609.08634 (pending registration).
- Historial de envío: de Oleksandr Cherednichenko; [v1] Tue, 8 Sep 2026 12:04:38 UTC (426 KB).
- Cite as arXiv:2609.08634 [cs.LG] (or arXiv:2609.08634v1 [cs.LG] for this version).
Criterio práctico: para la cita, usar el arXiv ID y el DOI. El DOI está en proceso de registro.
