Metode Genesis Steering: pengarahan aktivasi pada data yang digunakan saat fine-tuning
Metode ini menghasilkan vektor pengarah dari contoh kontras yang terdapat dalam data penyempurnaan, dan jika contoh tersebut tidak tersedia, metode ini memilih sampel pelatihan yang mungkin melalui membership inference lalu membentuk kumpulan data proksi. Bagian teoretis menguraikan pergeseran optimal menuju batas keputusan dan estimasi berdasarkan data proksi; secara empiris, data internal Tülu-3-8B memberikan efek yang lebih kuat daripada kumpulan data eksternal, sedangkan kegunaan proksi MIA pada Llama-3.1-8B-Instruct terbatas oleh rasio pergeseran arah.

Apa itu Genesis Steering
Steering aktivasi mengendalikan model bahasa besar selama inferensi. Efektivitas metode ini bergantung pada pemilihan data referensi. Genesis steering membangun genesis vector dari contoh kontras dalam data fine-tuning model itu sendiri.
Jika data ini tidak tersedia, metode ini menggunakan pendekatan dari literatur membership inference. Pendekatan tersebut menemukan contoh pelatihan yang mungkin dan menyusun dataset proksi.
Makalah “Genesis Steering: Better Activation Steering Through Training Data” diajukan pada 13 Okt 2026 (v1). Pembaruan — 19 Okt 2026 (v2). Penulis: Tora Bodin, Eric Aubinais, Ilaria Torre, Chih-Hong Cheng.
Kesimpulan: Genesis steering mengaitkan steering dengan data fine-tuning. Parameter kuncinya adalah sumber contoh kontras.
Cara genesis vector dibangun
Metode ini mengambil contoh kontras dari data fine-tuning. Vektor arah dibangun berdasarkan contoh tersebut. Vektor ini diterapkan pada model selama inferensi.

Penulis menetapkan dua hasil teoretis. Pertama, tentang pergeseran optimal menuju batas keputusan. Kedua, tentang pengurangan bias saat melakukan estimasi dengan data proksi.
Kesimpulan: Teori memberikan panduan untuk pergeseran. Kualitas vektor bergantung pada pemilihan contoh kontras.
Data proksi melalui membership inference
Ketika data fine-tuning tidak tersedia, metode ini menggunakan membership inference. Pendekatan ini mencari contoh pelatihan yang mungkin. Contoh yang ditemukan kemudian disusun menjadi dataset proksi.
Dataset proksi berfungsi sebagai pengganti data asli saat membangun genesis vector. Metode ini menggunakan contoh yang ditemukan sebagai data referensi. Perbedaannya terletak pada sumber contoh.
Kesimpulan: Dataset proksi memperluas penerapan metode ini. Kriteria penerapannya adalah tidak adanya akses ke data fine-tuning.
Hasil evaluasi pada model
Evaluasi dilakukan pada Tülu-3-8B dan Llama-3.1-8B-Instruct. Data fine-tuning untuk Tülu-3-8B tersedia untuk umum. Llama-3.1-8B-Instruct digunakan sebagai model kontrol.
Data keamanan dari campuran pelatihan Tülu-3-8B menghasilkan steering yang lebih kuat daripada dataset eksternal. Hal ini berlaku untuk kedua model.
Pada Tülu-3-8B, skor membership sebagian besar selaras dalam mengidentifikasi contoh pelatihan. Vektor yang dibangun dari contoh dengan skor tertinggi memberikan hasil yang sebanding dengan sub-sampel acak berukuran sama.
Hasil pada Llama-3.1-8B-Instruct menetapkan kondisi untuk MIA. Metode ini hanya akan memberikan efek positif jika pergeseran arah rata-rata untuk data in-domain hasil filter MIA jauh lebih kecil daripada pergeseran untuk data OoD.
Kesimpulan: Data fine-tuning internal menghasilkan steering yang lebih kuat daripada dataset eksternal. MIA memerlukan pemeriksaan terhadap kondisi pergeseran arah.
Kriteria praktis untuk memilih
Pemilihan metode bergantung pada akses ke data fine-tuning. Tabel di bawah ini menghubungkan situasi, tindakan, dan pemeriksaan.
| Situasi | Tindakan | Pemeriksaan |
|---|---|---|
| Data fine-tuning tersedia | Membangun genesis vector dari contoh kontras dalam data tersebut | Membandingkannya dengan dataset eksternal |
| Data tidak tersedia | Mencari contoh pelatihan yang mungkin melalui membership inference dan menyusun dataset proksi | Memeriksa kondisi pergeseran arah rata-rata |
| Dataset proksi telah disusun | Membangun vektor dari contoh dengan skor tertinggi | Membandingkannya dengan sub-sampel acak berukuran sama |
Kesimpulan: Genesis steering dipilih berdasarkan ketersediaan data fine-tuning. Untuk dataset proksi, periksa kondisi pergeseran dan bandingkan hasilnya dengan sub-sampel acak.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator
Modul bertahap ini tidak membuang taktik yang ditolak, tetapi meminta model koreksi untuk memperbaikinya hingga R kali dengan mempertimbangkan kesalahan Lean; dengan K kandidat, modul ini meningkatkan proporsi tugas yang berhasil diselesaikan. Eksperimen pada LeanDojo dan Lean Workbook menunjukkan peningkatan yang terutama berasal dari kegagalan eksekusi dangkal, dengan konsekuensi waktu pencarian yang lebih lama.
16 November 2026
Pembelajaran in-context tabular dengan pakar spars: OrionMoE-Small-v1.0 yang ringkas
Model dasar yang ringkas untuk tugas tabular ini memprediksi observasi baru berdasarkan tabel acuan berlabel tanpa melatih ulang parameter. Pemilihan pakar secara adaptif dengan mempertimbangkan kumpulan data dan representasi fitur menghasilkan kinerja yang kompetitif, terutama pada konteks kecil dan dimensi tinggi.
15 November 2026
Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal
Artikel ini menjelaskan pipeline diagnostik yang pertama-tama mengidentifikasi kelompok pasien yang dapat diinterpretasikan dengan tingkat keyakinan model yang rendah, lalu memeriksa keberadaan pergeseran kovariat yang merugikan di dalam kelompok-kelompok tersebut. Dalam eksperimen pada MIMIC-IV dengan tiga tugas klinis dan tiga pergeseran subkelompok buatan, pendekatan ini membantu menemukan pergeseran terkait usia yang sulit terlihat pada evaluasi agregat.
15 November 2026