Pemrograman klinis: dimana LLM tersandung
Menyiapkan data uji klinis untuk penyerahan regulasi adalah proses dengan persyaratan ketat. Protokol perlu diubah menjadi dataset analitis yang sesuai dengan standar CDISC, dan kesalahan apapun di sini dapat menyebabkan penundaan atau penolakan dari aplikasi. Untuk waktu yang lama, panggung ini tetap menjadi penghalang: ia memerlukan kedua pengetahuan domain, presisi dalam kode, dan pemahaman logika regulasi.
Ketika datang ke menghasilkan kode tersebut dengan model bahasa besar, gambar tampak suram. Dalam sebuah percobaan yang dijelaskan dalam sebuah preprint pada arxiv, lima model perbatasan diberikan sebelas percobaan tunggal untuk membuat data tingkat subject- yang valid - dan tidak ada yang berhasil. Ini bukan tentang kekurangan kecil, tapi tentang lengkap unusability hasil. Model tampaknya mengabaikan struktur yang sangat proses: mereka mencoba untuk merakit seluruh pipa sekaligus, tanpa menengah cek atau pemahaman yang langkah yang wajib dan yang tergantung pada yang sebelumnya.
Agen GxP-: dekomposisi melalui grafik proses
Jawaban untuk masalah ini adalah sistem multi- agen GxP- Agen. Ide kuncinya adalah tidak bergantung pada model "penalaran" tentang bagaimana proses regulasi bekerja, tapi untuk mengkodekan proses secara eksplisit. Urutan regulasi aksi diwakili sebagai grafik akyklik yang diarahkan (DAG). Alih-alih generasi monolitik dari seluruh dataset dalam satu langkah, tugas tersebut dipecah menjadi 15 domain- node spesifik. Setiap node adalah operasi terpisah yang dilakukan oleh agen pekerja dilengkapi dengan keterampilan konteks dari farmaverse. Antara node, ada gerbang validasi, dan pengulangan kondisional disediakan ketika dibutuhkan.
Pendekatan ini mengubah sifat alami dari kesalahan. Jika model menyimpang dari hasil yang diharapkan pada beberapa titik, ini terdeteksi segera, dan langkah dapat dijalankan ulang daripada mengulang seluruh baris pipa. Pada dasarnya, LLM berhenti menjadi "generator dari segala sesuatu sekaligus" dan menjadi seorang eksekutor dari subtugas lokal, baik-dijelaskan. Topologi grafik menyediakan kerangka kerja kaku di mana model dapat bertindak lebih bebas.
Apa ini terlihat seperti dalam praktek
Setiap titik DAG bertanggung jawab untuk domain data tertentu, dan pekerja menerima bukan tugas abstrak seperti "build ADSL", tapi tugas sempit dengan masukan yang jelas, keluaran, dan kriteria validasi. Jika hasilnya gagal validasi, pengulangan kondisional diaktifkan - agen menerima umpan balik dan mengoreksi kode. Ini menyerupai loop "generasi - check - fix", tetapi tertanam dalam struktur grafik daripada dijalankan sembarangan.
Nomor pada CDISC-Bench: dari nol sampai seratus
Untuk mengevaluasi efektivitas pendekatan, penulis mengembangkan eksekusi - berbasis benchmark disebut CDISC-Bench. Hal ini dibangun di atas pengiriman pilot FDA yang sebenarnya - CDISCPilot01, yang meliputi 254 subjek dan 49 ground- kebenaran ADSL variabel. Seperti pemeriksaan benchmark tidak hanya sintaks atau semantik kode, tetapi hasil sebenarnya dari eksekusi.
Di sini, Agen GxP-Agent menunjukkan hasil yang mengesankan: dengan model Claude Sonnet 4.6, ia mencapai 100% kecocokan struktural - semua 49 variabel dan semua 254 catatan yang benar di tiga lari independen. Sebagai perbandingan, pengambilan terbaik - ditambah baseline berhenti pada 59,2%, dan semua pendekatan lain - tunggal-agen dan agen-datar multi- mencetak nol persen. Dengan kata lain, arsitektur apapun tanpa topologi graphik tidak mampu menangani tugas.
Model lemah juga menguntungkan
Efek samping yang menarik: topologi DAG menurunkan persyaratan untuk model itu sendiri. Ketika GPT-4.1 digunakan sebagai pekerja pada grafik yang sama, rata-rata kecocokan struktural adalah 59,2% - tingkat yang sama dengan pengambilan - ditambah baseline pada model yang kuat. Tanpa struktur grafik, GPT-4.1 menunjukkan hasil nol. Hal ini menegaskan bahwa peran yang menentukan dimainkan bukan oleh kekuatan dari model individu, tetapi dengan bagaimana proses terorganisir.
Kepandaian dari pendekatan dan kesimpulan
Penulis tidak membatasi diri mereka sendiri untuk satu domain. Prinsip yang sama diterapkan pada dataset ADAE (kejadian merugikan) - yang menggunakan DAG branching dari 9 node, 55 variabel, dan 1191 catatan. Sebuah 100% pertandingan struktural dicapai pada percobaan pertama. Hal ini menunjukkan bahwa metode yang umum melebihi ADSL dan cocok untuk tipe lain dari data klinis.
Pengambilalihan utama dari pekerjaan: ketergantungan dalam pemrograman klinis tercapai bukan melalui "penalaran cerdas" dari LLM, tapi melalui pengetahuan encoding domain tentang proses dalam bentuk topologi grafik. Model tetap penting, tapi bukan satu-satunya, komponen dari sistem. Ini adalah grafik yang menetapkan kendala dan ketertiban, sementara model bahasa mengisinya dengan kode konkret. Simbiosis ini memungkinkan untuk memperoleh hasil GxP-compliant yang dapat diandalkan dalam submisi regulasi.
