12 bahan
Para peneliti menemukan bahwa metode unlearning standar pada LLM mudah rusak ketika dilakukan fine-tuning pada sejumlah kecil contoh yang terlupakan. Teknik Margin Calibration yang mereka usulkan menambahkan penalti margin yang tidak jenuh dan secara signifikan mengurangi keberhasilan serangan semacam itu pada berbagai model dan dataset.
Penelitian baru menunjukkan bahwa penilai LLM yang bias secara diam-diam merusak mekanisme penghapusan keterampilan yang gagal: jika proporsi keberhasilan palsu melebihi 0,45, sistem berhenti membersihkan pustaka keterampilan, dan hal ini tidak terlihat dari metrik agregat. Para penulis mengusulkan audit murah dengan injeksi cacat untuk memeriksa penilai sebelum penerapan.
Beberapa spesialis keamanan siber melaporkan bahwa mereka kehilangan akses ke tingkat Daybreak Blue dalam program Trusted Access for Cyber. OpenAI mengakui adanya masalah di sisi mereka dan meminta untuk melakukan verifikasi ulang.
Keberhasilan model bahasa tidak hanya terkait dengan penggunaan ulang token, tetapi juga dengan cara kompresi diatur. Untuk musik, upaya untuk menetapkan hubungan terlebih dahulu, misalnya melalui lingkaran kwint, justru memperburuk prediksi — yang lebih penting adalah membiarkan konteks model tetap ada dan mengatur waktu dengan tepat.
Kami menguraikan cara paling andal untuk menginstal Stable Diffusion di PC: penginstal resmi ComfyUI Desktop, Pinokio yang serbaguna, dan Forge Neo untuk model modern. Kami menjelaskan GPU apa yang diperlukan, mengapa Automatic1111 bukan lagi pilihan terbaik, dan berapa lama waktu yang dibutuhkan hingga gambar pertama berhasil dibuat.
Para penulis menunjukkan bahwa penyesuaian prompt adversarial biasa membuat model terpaku pada fitur semu dan kehilangan akurasi pada kelas baru. Metode baru ADAPT dengan prompt umpan menyelesaikan masalah ini dengan memisahkan fitur yang berguna dari jalur pintas yang dapat digeneralisasi.
Penelitian baru menunjukkan bahwa bahkan agen AI yang menjanjikan dengan memori tekstual mengalami penurunan signifikan saat urutan tugas diubah, dan evaluasinya pun berisik. Para penulis menyerukan protokol pengujian yang lebih ketat dan kehati-hatian dalam menarik kesimpulan tentang peningkatan.
Pendekatan baru InnerExpert memanfaatkan karakteristik perutean dan perbedaan pendapat para ahli dalam model MoE untuk mengidentifikasi fragmen yang dibuat-buat berdasarkan token. Metode ini dilatih tanpa anotasi manual dan pada lima dataset menunjukkan akurasi hingga 0,91 pada tingkat jawaban dan 0,76 pada tingkat token dalam satu kali proses.
Para penulis menguji enam model bahasa pada pertanyaan tentang penerbangan, apartemen, dan hotel, dan menemukan bahwa jawaban numerik tentang kesediaan membayar secara sistematis saling bertentangan. Akibatnya, estimasi semacam itu tidak dapat dijelaskan dengan satu fungsi utilitas — yang berarti mengandalkannya saat mengambil keputusan berisiko.
