Lapisan klasifikasi di atas SpeechLLM: keunggulannya dibandingkan pembuatan label dalam pengenalan emosi
Dengan menggunakan dataset IEMOCAP dan MELD, keluaran generatif berupa label emosi dibandingkan dengan pengklasifikasi linear yang diterapkan pada representasi tersembunyi SpeechLLM yang ringkas. Peningkatan kualitas dari pengklasifikasi ini tidak berlaku universal: hasilnya bergantung pada korpus dan apakah yang digunakan adalah transkrip acuan atau hasil ASR.
Dua pendekatan untuk pengenalan emosi
Artikel ini membandingkan generasi token label oleh LLM dengan klasifikasi diskriminatif menggunakan linear head di atas hidden state LLM. Pendekatan generatif mengandalkan representasi keluaran LLM yang sudah tersedia. Pendekatan diskriminatif menambahkan classification head terpisah ke model.
| Kriteria | Generasi token label | Klasifikasi diskriminatif |
|---|---|---|
| Peran LLM | Menghasilkan representasi keluaran untuk label | Menghasilkan hidden state untuk head |
| Mekanisme keputusan | LLM menghasilkan token label | Linear head mengklasifikasikan hidden state |
| Yang digunakan | Keluaran model yang sudah tersedia | Hidden state LLM |
Perbedaan praktisnya adalah generasi menggunakan keluaran model yang sudah tersedia, sedangkan head membaca hidden state.
Kondisi perbandingan
Perbandingan dilakukan pada IEMOCAP dan MELD. Model yang digunakan adalah SpeechLLM ringkas: encoder Whisper-medium yang dibekukan dan LLM 3B. Untuk setiap perbandingan, digunakan transkrip referensi dan transkrip ASR. Perbandingan ini mencakup dua sumber teks, sehingga efek head diuji secara terpisah untuk masing-masing sumber. Kriteria evaluasi: bandingkan hasil hanya dalam dataset dan sumber transkrip yang sama.
Di mana classification head mengungguli generasi label
Classification head meningkatkan Macro F1 dalam 10 dari 14 konfigurasi. Pada IEMOCAP, head meningkatkan semua konfigurasi dengan transkrip ASR dan mencapai Macro F1 sebesar 76.97%. Pada dataset yang sama, mode audio saja juga menunjukkan peningkatan yang signifikan. Pada MELD, head membantu saat hanya menggunakan audio, tetapi tidak dengan transkrip ASR. Kesimpulannya: peningkatan bergantung pada dataset dan sumber transkrip. Generasi label tidak selalu kalah.
Mengapa kesimpulan dari transkrip referensi tidak bisa diterapkan begitu saja
Pada MELD, transkrip ASR memiliki WER 32.38%. Dalam 4 dari 6 konfigurasi yang menggunakan teks, pengaruh head berubah arah antara transkrip referensi dan ASR. Karena itu, kesimpulan dari transkrip referensi belum tentu berlaku untuk ASR. Kriteria praktis: uji head pada sumber teks yang akan digunakan.
Apa yang ditunjukkan oleh token kosakata terdekat
Pada IEMOCAP dan MELD, token kosakata LLM yang paling dekat dengan vektor kelas yang dipelajari umumnya berupa kata-kata yang berkaitan dengan emosi. Token tersebut bukan nama emosi yang eksplisit. Ini menunjukkan bahwa nama emosi yang eksplisit belum tentu sama dengan token kosakata terdekat. Kriteria pemeriksaan: lihat token mana yang dekat dengan vektor kelas, bukan hanya nama label.
Kriteria pemilihan
Pemilihan pendekatan didasarkan pada dua hal: dataset dan sumber transkrip.
- Untuk transkrip ASR, uji head pada ASR, bukan pada teks referensi.
- Untuk mode audio saja, pertimbangkan peningkatan pada IEMOCAP dan MELD.
- Untuk transkrip referensi, jangan menerapkan kesimpulannya pada ASR.
- Untuk interpretasi kelas, lihat token kosakata LLM terdekat.
Kriteria akhir: head mengungguli generasi label jika pengujian pada dataset dan sumber transkrip yang dituju menunjukkan peningkatan.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
LLM Medis Mengetahui Revisi Pedoman, tetapi Sering Menjawab Berdasarkan Pedoman Lama
Studi ChronoEvo terhadap 1709 perubahan rekomendasi klinis menunjukkan: pada model utama, 90,8% jawaban mencatat pembaruan, tetapi hanya 58,5% yang menerapkannya sepenuhnya, sementara kesenjangan sebesar 32,3 poin persentase tetap terlihat pada 14 model. Bahkan peningkatan visibilitas pembaruan tidak menghasilkan peningkatan signifikan dalam penerapan penuh aturan baru ke dalam rekomendasi klinis.
4 November 2026
Model dunia untuk agen berbasis LLM tertutup: koreksi pada titik risiko
PAWM diusulkan sebagai prediktor eksternal yang tidak menduplikasi observasi langkah demi langkah, tetapi aktif saat kegagalan mungkin terjadi dan mengarahkan agen menjauhi tindakan yang keliru. Setelah SFT pada skenario sintetis dan pelatihan bersama GRPO, metode ini menghasilkan peningkatan 24,3% di ScienceWorld dan 7,7% di WebArena-Lite untuk Claude Sonnet 4.5.
4 November 2026
Dari penilaian individual ke himpunan yang memenuhi syarat: dekode global dengan kendala DDI
Artikel ini membandingkan pemilihan kombinasi obat kompatibel global yang optimal, yang diterapkan melalui mixed-integer linear programming, dengan beberapa skema penyelesaian konflik DDI secara lokal menggunakan skor FLAME tetap pada MIMIC-III. Pada set uji, pendekatan global memberikan peningkatan Jaccard yang kecil tetapi konsisten, yang makin besar saat batasan diperketat dan mencapai +0.0064 dibandingkan metode lokal terbaik.
4 November 2026