Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal

15 November 20260 tampilan

Artikel ini menjelaskan pipeline diagnostik yang pertama-tama mengidentifikasi kelompok pasien yang dapat diinterpretasikan dengan tingkat keyakinan model yang rendah, lalu memeriksa keberadaan pergeseran kovariat yang merugikan di dalam kelompok-kelompok tersebut. Dalam eksperimen pada MIMIC-IV dengan tiga tugas klinis dan tiga pergeseran subkelompok buatan, pendekatan ini membantu menemukan pergeseran terkait usia yang sulit terlihat pada evaluasi agregat.

Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal

Mengapa efektivitas rata-rata tidak menunjukkan siapa yang terdampak

Sebelum menerapkan model prediksi klinis, keandalannya dinilai. Penilaian ini diperlukan agar model dapat digunakan dengan aman. Kesalahan terjadi akibat pergeseran distribusi antara pelatihan dan penerapan. Penyebab lainnya adalah efektivitas yang tidak merata. Model secara sistematis bekerja lebih buruk pada kelompok pasien tertentu.

Sebagian besar metode diagnostik pascahoc menilai keandalan pada tingkat seluruh populasi. Metode tersebut memeriksa kemiripan data penerapan dengan data pelatihan. Selain itu, metode tersebut melihat efektivitas rata-rata model. Namun, ketidakmerataan tidak dinilai. Akibatnya, pasien tertentu dapat terdampak secara tidak proporsional.

KriteriaDiagnostik tingkat populasiPencarian lokal berdasarkan profil
Yang dinilaiKemiripan data penerapan dengan data pelatihan dan efektivitas rata-rataProfil dengan tingkat keyakinan rendah dan pergeseran kovariat di dalam profil
Yang ditunjukkanSinyal umum tentang pergeseran atau penurunanProfil spesifik dengan efektivitas yang menurun
KeterbatasanTidak memperhitungkan ketidakmerataanPergeseran yang luas hanya sedikit membantu menemukan siapa yang terdampak
Peran praktisPemantauan latar belakangPemeriksaan terarah terhadap prediksi yang tidak andal

Kriteria: diagnostik tingkat populasi saja tidak cukup untuk menemukan pasien yang mengalami penurunan secara tidak proporsional. Diperlukan analisis pada tingkat profil.

Cara kerja pencarian dua tahap: profil dan pergeseran lokal

Pipeline membagi diagnostik menjadi dua tahap. Tahap pertama adalah MED3pa. Metode ini mengidentifikasi profil pasien yang dapat diinterpretasikan dengan tingkat keyakinan rendah.

Tahap kedua adalah Detectron. Metode ini diterapkan di dalam setiap profil. Metode ini memeriksa apakah penurunan efektivitas berkaitan dengan pergeseran kovariat merugikan yang dapat dideteksi. Pemeriksaan dilakukan bukan pada tingkat seluruh populasi, melainkan di dalam profil.

Prosesnya berlangsung dalam beberapa langkah:

  1. Bentuk profil pasien yang dapat diinterpretasikan dengan tingkat keyakinan rendah.
  2. Untuk setiap profil, periksa hubungan antara penurunan efektivitas dan pergeseran kovariat.
  3. Pisahkan profil yang penurunan efektivitasnya berkaitan dengan pergeseran merugikan yang dapat dideteksi.
  4. Bandingkan hasilnya dengan diagnostik tingkat populasi.

Kriteria: pilih alur kerja yang terlebih dahulu mengidentifikasi profil, lalu memeriksa pergeseran di dalam profil. Satu pemeriksaan tingkat populasi tidak memberikan informasi terarah seperti ini.

Dampak pergeseran usia, jenis kelamin, dan ras

Penelitian ini mencakup tiga tugas prediksi klinis. Tiga pergeseran subkelompok buatan diterapkan pada MIMIC-IV. Hasilnya berbeda menurut jenis pergeseran:

  • Pergeseran usia: tidak terlihat pada tingkat seluruh populasi. Pipeline MED3pa dan Detectron menemukan lokasi pergeseran tersebut pada profil pasien tertentu yang efektivitasnya menurun.
  • Pergeseran jenis kelamin dan ras: terdeteksi secara luas. Pergeseran ini hanya sedikit membantu mengidentifikasi pasien yang paling terdampak.

Kriteria: pencarian lokal sangat berguna untuk pergeseran yang tidak terlihat pada tingkat seluruh populasi. Sinyal yang luas saja tidak menunjukkan siapa yang paling terdampak.

Kapan pencarian lokal tepat untuk profil yang tidak andal

Pipeline ini mengandalkan profil dengan tingkat keyakinan rendah dan pemeriksaan pergeseran kovariat di dalamnya. Kriteria penerapan:

  • Tugasnya menuntut identifikasi profil spesifik dengan efektivitas yang menurun.
  • Diagnostik tingkat populasi tidak menunjukkan lokasi penurunan.
  • Pergeseran kovariat di dalam profil dapat dideteksi.
  • Hasilnya ditafsirkan sebagai temuan lokal, bukan sebagai penilaian seluruh populasi.
  • Kesimpulan diperiksa pada beberapa tugas dan pergeseran.

Penelitian ini terbatas pada tiga tugas klinis dan tiga pergeseran dalam MIMIC-IV. Artikel ini diterima di SMASH 2026. Hasilnya tidak dapat diterapkan pada data lain tanpa pemeriksaan terlebih dahulu.

Kriteria pemilihan: gunakan diagnostik dua tahap untuk profil dengan prediksi yang tidak andal. Jadikan penilaian populasi sebagai gambaran umum. Ambil keputusan berdasarkan pemeriksaan lokal di dalam profil.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator
Berita

Perbaikan taktik terbatas di Lean 4 dengan bantuan diagnostik kompilator

Modul bertahap ini tidak membuang taktik yang ditolak, tetapi meminta model koreksi untuk memperbaikinya hingga R kali dengan mempertimbangkan kesalahan Lean; dengan K kandidat, modul ini meningkatkan proporsi tugas yang berhasil diselesaikan. Eksperimen pada LeanDojo dan Lean Workbook menunjukkan peningkatan yang terutama berasal dari kegagalan eksekusi dangkal, dengan konsekuensi waktu pencarian yang lebih lama.

16 November 2026
Metode Genesis Steering: pengarahan aktivasi pada data yang digunakan saat fine-tuning
Berita

Metode Genesis Steering: pengarahan aktivasi pada data yang digunakan saat fine-tuning

Metode ini menghasilkan vektor pengarah dari contoh kontras yang terdapat dalam data penyempurnaan, dan jika contoh tersebut tidak tersedia, metode ini memilih sampel pelatihan yang mungkin melalui membership inference lalu membentuk kumpulan data proksi. Bagian teoretis menguraikan pergeseran optimal menuju batas keputusan dan estimasi berdasarkan data proksi; secara empiris, data internal Tülu-3-8B memberikan efek yang lebih kuat daripada kumpulan data eksternal, sedangkan kegunaan proksi MIA pada Llama-3.1-8B-Instruct terbatas oleh rasio pergeseran arah.

16 November 2026
Pembelajaran in-context tabular dengan pakar spars: OrionMoE-Small-v1.0 yang ringkas
Berita

Pembelajaran in-context tabular dengan pakar spars: OrionMoE-Small-v1.0 yang ringkas

Model dasar yang ringkas untuk tugas tabular ini memprediksi observasi baru berdasarkan tabel acuan berlabel tanpa melatih ulang parameter. Pemilihan pakar secara adaptif dengan mempertimbangkan kumpulan data dan representasi fitur menghasilkan kinerja yang kompetitif, terutama pada konteks kecil dan dimensi tinggi.

15 November 2026
Pencarian lokal atas pergeseran kovariat untuk profil dengan prediksi yang tidak andal