Keamanan pada model terbuka
Menerapkan mekanisme perlindungan yang andal pada model bahasa besar sangat penting untuk menghasilkan respons yang bermanfaat dan tidak berbahaya.
- Sistem proprietary menunjukkan kontrol keamanan yang andal.
- Metode dan kompromi mereka sebagian besar tetap tidak diungkap.
- Mencapai keamanan yang setara pada model terbuka tetap menjadi masalah yang sulit diatasi.
- Varian pasca-pelatihan sering kali mengalami penolakan berlebihan dan penurunan kualitas secara umum.
Suan adalah algoritma optimasi preferensi baru. Ia diciptakan untuk mengatasi kekurangan tersebut. Kriteria praktis: jika model terbuka terlalu sering menolak dan kehilangan kualitas, diperlukan metode yang memperbaiki keselarasan keamanan tanpa mengorbankan kegunaan.
Optimasi gradien langsung
Suan merumuskan tujuan optimasi langsung pada tingkat gradien. Pendekatan ini melewati inferensi variasional standar. Hasilnya, pelatihan menjadi lebih interpretable dan stabil.
| Aspek | Apa yang diubah Suan dibandingkan pendekatan standar |
|---|---|
| Perumusan tujuan | Tingkat gradien langsung alih-alih inferensi variasional standar |
| Dinamika pelatihan | Lebih interpretable dan stabil |
Kriteria pemilihannya adalah melihat di mana tujuan dirumuskan. Tingkat gradien langsung menghasilkan dinamika pelatihan yang lebih transparan.
Evaluasi dan hasil
Suan telah melalui evaluasi yang ekstensif. Evaluasi tersebut mencakup beragam kumpulan metode dasar dan benchmark yang kompetitif.
- Algoritma ini mencapai keselarasan keamanan yang unggul.
- Algoritma ini sepenuhnya mempertahankan kegunaan respons.
Kriteria praktis: bandingkan keamanan dan kegunaan secara bersamaan. Evaluasi hanya berdasarkan penolakan tidak menunjukkan kualitas secara keseluruhan. Evaluasi hanya berdasarkan kualitas tidak menunjukkan perlindungan.
Keluaran
Artikel ini berjudul "Suan: Rectifying Direct Preference Safety Alignment in Large Language Models".
- Penulis — Oleksandr Cherednichenko, Roman Klypa.
- arXiv:2609.08634 (cs).
- Tanggal pengajuan — 8 September 2026.
- Topik: Machine Learning (cs.LG); Artificial Intelligence (cs.AI).
- DOI: https://doi.org/10.48550/arXiv.2609.08634 (pending registration).
- Riwayat pengajuan: dari Oleksandr Cherednichenko; [v1] Tue, 8 Sep 2026 12:04:38 UTC (426 KB).
- Cite as arXiv:2609.08634 [cs.LG] (or arXiv:2609.08634v1 [cs.LG] for this version).
Kriteria praktis: untuk sitasi gunakan arXiv ID dan DOI. DOI masih dalam proses registrasi.
