LLM Medis Mengetahui Revisi Pedoman, tetapi Sering Menjawab Berdasarkan Pedoman Lama
Studi ChronoEvo terhadap 1709 perubahan rekomendasi klinis menunjukkan: pada model utama, 90,8% jawaban mencatat pembaruan, tetapi hanya 58,5% yang menerapkannya sepenuhnya, sementara kesenjangan sebesar 32,3 poin persentase tetap terlihat pada 14 model. Bahkan peningkatan visibilitas pembaruan tidak menghasilkan peningkatan signifikan dalam penerapan penuh aturan baru ke dalam rekomendasi klinis.
Apa yang diukur oleh rangkaian pengujian
Penelitian ini mengevaluasi sejauh mana model bahasa besar medis mempelajari perubahan pada rekomendasi medis. Para penulis memperkenalkan ChronoEvo — kumpulan 1.709 perubahan rekomendasi pada tingkat rekomendasi individual.
Kumpulan ini mencakup 12 bentuk perubahan pengetahuan medis. Kumpulan ini membedakan antara pengenalan rekomendasi yang diperbarui dan penerapannya dalam panduan klinis model.
Kriteria evaluasi: membedakan pengenalan pembaruan dari penerapannya dalam jawaban.
Kesenjangan antara pengenalan dan penerapan
Pada model utama, 90,8% jawaban mengenali perubahan. Sebanyak 80,2% jawaban benar secara klinis. Sebanyak 58,5% jawaban sepenuhnya menerapkan rekomendasi yang diperbarui. Kesenjangan antara pengenalan dan penerapan mencapai 32,3 poin persentase.
| Indikator | Nilai |
|---|---|
| Jawaban yang mengenali perubahan | 90,8% |
| Jawaban yang benar secara klinis | 80,2% |
| Jawaban yang sepenuhnya menerapkan rekomendasi yang diperbarui | 58,5% |
| Kesenjangan antara pengenalan dan penerapan | 32,3 poin persentase |
Kebenaran klinis tidak menjamin penerapan pembaruan secara menyeluruh. Kriteria evaluasi: proporsi penerapan pembaruan secara menyeluruh, bukan sekadar pengenalan.
Seberapa konsisten kesenjangan ini
Perbedaan ini bertahan pada 14 model. Dua klinisi meninjau 300 jawaban. Mereka mengonfirmasi adanya kesenjangan: pada sampel validasi, kesenjangan tersebut mencapai 40,3 poin persentase.
Kesenjangan ini muncul pada berbagai model dan dalam peninjauan independen. Kriteria evaluasi: konsistensi kesenjangan pada beberapa model dan dengan keterlibatan klinisi.
Perubahan mana yang lebih sulit
Perubahan pada kekuatan rekomendasi dan kriteria kelayakan pasien berkaitan dengan bertahannya rekomendasi yang sudah usang. Kedua jenis perubahan ini memerlukan perhatian khusus saat meninjau jawaban.
Kriteria peninjauan: adanya perubahan pada kekuatan rekomendasi dan kriteria kelayakan pasien dalam kumpulan data.
Dampak visibilitas pembaruan
Intervensi ini meningkatkan visibilitas pembaruan. Intervensi tersebut mengurangi bertahannya konten usang dan meningkatkan kebenaran klinis. Namun, intervensi tersebut tidak menghasilkan peningkatan yang signifikan secara statistik dalam penerapan rekomendasi yang diperbarui secara menyeluruh.
Visibilitas pembaruan membantu meningkatkan kebenaran, tetapi tidak sepenuhnya menyelesaikan masalah penerapan. Hasilnya menunjukkan bahwa penerapan pengetahuan medis yang terus berubah secara andal tetap menjadi tantangan tersendiri bagi model bahasa besar klinis. Data rekomendasi yang diperbarui tersedia dalam proses ini.
Kriteria peninjauan: dampak petunjuk tentang pembaruan terhadap penerapan rekomendasi secara menyeluruh.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Model dunia untuk agen berbasis LLM tertutup: koreksi pada titik risiko
PAWM diusulkan sebagai prediktor eksternal yang tidak menduplikasi observasi langkah demi langkah, tetapi aktif saat kegagalan mungkin terjadi dan mengarahkan agen menjauhi tindakan yang keliru. Setelah SFT pada skenario sintetis dan pelatihan bersama GRPO, metode ini menghasilkan peningkatan 24,3% di ScienceWorld dan 7,7% di WebArena-Lite untuk Claude Sonnet 4.5.
4 November 2026
Lapisan klasifikasi di atas SpeechLLM: keunggulannya dibandingkan pembuatan label dalam pengenalan emosi
Dengan menggunakan dataset IEMOCAP dan MELD, keluaran generatif berupa label emosi dibandingkan dengan pengklasifikasi linear yang diterapkan pada representasi tersembunyi SpeechLLM yang ringkas. Peningkatan kualitas dari pengklasifikasi ini tidak berlaku universal: hasilnya bergantung pada korpus dan apakah yang digunakan adalah transkrip acuan atau hasil ASR.
4 November 2026
Dari penilaian individual ke himpunan yang memenuhi syarat: dekode global dengan kendala DDI
Artikel ini membandingkan pemilihan kombinasi obat kompatibel global yang optimal, yang diterapkan melalui mixed-integer linear programming, dengan beberapa skema penyelesaian konflik DDI secara lokal menggunakan skor FLAME tetap pada MIMIC-III. Pada set uji, pendekatan global memberikan peningkatan Jaccard yang kecil tetapi konsisten, yang makin besar saat batasan diperketat dan mencapai +0.0064 dibandingkan metode lokal terbaik.
4 November 2026