Mengapa deidentifikasi standar melewatkan data "lokal"
Sistem deidentifikasi otomatis untuk catatan medis biasanya menangani jenis informasi terlindungi yang umum dengan baik: nama, tanggal lahir, nomor asuransi. Namun di rumah sakit nyata, ada data yang hanya sensitif di dalam organisasi tersebut. Ini termasuk nama klinik yang disingkat, nama gedung, kode internal departemen. Bagi manusia, string semacam itu dengan jelas menunjukkan tempat perawatan, tetapi algoritma universal tidak dapat mengetahui semua sebutan lokal.
Solusi tradisional baik mengandalkan kamus atau model terlatih dengan kategori tetap. Keduanya melewatkan apa yang tidak ada dalam referensi mereka. Para peneliti menyebutnya PHI yang "terlokalisasi secara institusional", dan di sinilah risiko kebocoran serius muncul.
Bagaimana LLM berhasil menutup kesenjangan
Untuk menguji apakah model bahasa besar dengan in-context learning mampu menyelesaikan masalah ini, penulis eksperimen mengambil 100 catatan onkologi anak yang telah diberi anotasi — total lebih dari lima ribu fragmen PHI — lalu membandingkan delapan LLM dengan dua sistem khusus (Stanford TiDE dan OpenMed PII) serta dua baseline berbasis pola.
Hasilnya berpihak pada LLM: model terbaik mencapai F1 = 0,918 ± 0,001, sedangkan sistem khusus terbaik TiDE hanya menunjukkan 0,779. Keunggulannya sangat terlihat pada kategori yang bergantung pada konteks — sebutan lokal yang biasanya luput dari jangkauan algoritma.
Tiga tingkat prompt: dari HIPAA hingga penyesuaian presisi
Teknik kuncinya bukan sekadar permintaan, melainkan penyesuaian prompt yang terarah untuk institusi tertentu. Dalam eksperimen, digunakan tiga varian:
- Prompt dasar — instruksi umum sesuai standar HIPAA.
- Prompt dengan kategori lokal — menambahkan daftar tipe PHI institusional yang tidak tercakup standar.
- Prompt dengan perlindungan dari penyuntingan berlebihan — instruksi tambahan untuk tidak memotong konten klinis yang tidak perlu.
Mendaftarkan kategori yang terlewat memulihkan 79% dari 61 fragmen yang sebelumnya tidak ditemukan (48 item). Dan instruksi terhadap penyuntingan berlebihan mengembalikan presisi yang sempat menurun akibat "terlalu berhati-hati"-nya model.
Agen dan ansambel tidak memberikan keuntungan
Orang mungkin menduga bahwa menjalankan beberapa model atau skema multi-agen akan memberikan hasil yang lebih baik. Penulis menguji 14 konfigurasi semacam itu dan membandingkannya dengan prompt tunggal terbaik. Ternyata, tidak ada arsitektur agen yang mengungguli prompting terkali-brasi satu lintasan sederhana. F1 pada agen bertahan di kisaran 0,906–0,907 — praktis pada level yang sama, tetapi tanpa keuntungan tambahan.
LLM sebagai auditor anotasi
Nilai tambah tersendiri dari pendekatan LLM adalah kemampuannya membantu memeriksa kualitas set referensi itu sendiri. Model menunjukkan 414 titik di mana anotasi asli kemungkinan besar tidak lengkap. Setelah pemeriksaan manual, 227 span PHI yang terlewat terkonfirmasi. Ketika anotasi diperbaiki dan prompting dijalankan ulang, recall meningkat menjadi 0,981 dengan F1 = 0,907 ± 0,002. Ini berarti LLM dapat berperan tidak hanya sebagai alat deidentifikasi, tetapi juga sebagai auditor untuk membuat sampel pelatihan yang lebih akurat.
Kesimpulan
Prompt yang disetel dengan baik memungkinkan LLM menutup kesenjangan PHI institusional dan menemukan keseimbangan optimal antara presisi dan recall hanya dalam satu panggilan ke model. Cara ini lebih mahal daripada metode berbasis kamus tradisional, tetapi biaya tersebut sebagian terkompensasi oleh kemampuan untuk memeriksa dan meningkatkan set referensi itu sendiri.
Penulis menganggap LLM sebagai alternatif adaptif yang sah terhadap deidentifikator khusus. Strategi implementasi utamanya adalah pengembangan prompt spesifik-institusi yang mempertimbangkan realitas lokal setiap klinik.
