Programmation clinique: où les LLM trébuchent
La préparation des données des essais cliniques pour la présentation réglementaire est un processus comportant des exigences strictes. Les protocoles doivent être transformés en ensembles de données analytiques conformes aux normes du CISC, et toute erreur ici peut coûter un retard ou un rejet de la demande. Pendant longtemps, cette étape est restée un goulot d'étranglement : elle exige à la fois une connaissance du domaine, une précision du code et une compréhension de la logique réglementaire.
Quand il s'agit de générer un tel code avec de grands modèles de langue, l'image semble sombre. Dans une expérience décrite dans une préimpression sur arXiv, cinq modèles frontières ont été donnés onze tentatives uniques pour créer un ensemble de données valide au niveau du sujet — et aucun n'a réussi. Il ne s'agit pas de défauts mineurs, mais concernant l'inutilisabilité complète du résultat. Les modèles semblent ignorer la structure même du processus : ils essaient d'assembler l'ensemble du pipeline en même temps, sans vérification intermédiaire ni compréhension des étapes obligatoires et qui dépendent des étapes précédentes.
GxP-Agent: décomposition à travers un graphique de processus
La réponse à ce problème était le système multi-agents GxP-Agent. Son idée clé n'est pas de se fier au « raisonnement » du modèle quant au fonctionnement du processus réglementaire, mais pour encoder ce processus explicitement. La séquence réglementaire des actions est représentée par un graphique acyclique dirigé (GAD). Au lieu d'une génération monolithique de l'ensemble de données en une seule étape, la tâche est divisée en 15 nœuds spécifiques au domaine. Chaque noeud est une opération distincte effectuée par un agent travailleur équipé d'un contexte de compétences de pharmacoverse. Entre les nœuds, il y a des portes de validation, et des remises conditionnelles sont fournies au besoin.
Cette approche modifie la nature même des erreurs. Si le modèle s'écarte du résultat prévu à un certain nœud, cela est détecté immédiatement, et l'étape peut être redémarrée plutôt que de refaire le pipeline entier. En substance, le LLM cesse d'être un «générateur de tout à la fois» et devient un exécuteur exécutif de sous-tâches locales bien décrites. La topologie graphique fournit un cadre rigide dans lequel le modèle peut agir plus librement.
À quoi cela ressemble dans la pratique
Chaque noeud DAG est responsable d'un domaine de données spécifique, et le travailleur ne reçoit pas une tâche abstraite comme « construire ADSL », mais une tâche étroite avec des entrées claires, des sorties et des critères de validation. Si le résultat échoue à la validation, une nouvelle tentative conditionnelle est activée — l'agent reçoit des commentaires et corrige le code. Cela ressemble à une boucle "générée — vérification — correction", mais intégrée dans la structure du graphique plutôt que exécutée arbitrairement.
Nombres sur CDISC-Bench: de zéro à cent
Pour évaluer l'efficacité de l'approche, les auteurs ont élaboré une référence fondée sur l'exécution appelée CISC-Bench. Il s'appuie sur la soumission pilote réelle de la FDA — CDISCPilot01, qui comprend 254 sujets et 49 variables ADSL de la vérité au sol. Une telle référence ne vérifie pas seulement la syntaxe ou la sémantique du code, mais le résultat réel de son exécution.
Ici, GxP-Agent a montré des résultats impressionnants : avec le modèle Claude Sonnet 4.6, il a obtenu une correspondance structurale à 100% – les 49 variables et les 254 enregistrements étaient corrects sur trois parcours indépendants. À titre de comparaison, le niveau de référence le plus élevé a été arrêté à 59,2 %, et toutes les autres approches — un seul agent et plusieurs agents plats — ont obtenu zéro pour cent. En d'autres termes, toute architecture sans topologie graphique est tout simplement incapable de gérer la tâche.
Les modèles plus faibles bénéficient également
Un effet secondaire intéressant : la topologie DAG réduit les exigences du modèle lui-même. Lorsque GPT-4.1 a été utilisé comme travailleur sur le même graphique, la concordance structurelle moyenne était de 59,2 %, soit le même niveau que le niveau de référence relevé sur un modèle solide. Sans la structure graphique, GPT-4.1 a montré un résultat nul. Cela confirme que le rôle décisif est joué non pas par la puissance d'un modèle individuel, mais par la façon dont le processus est organisé.
La polyvalence de l'approche et des conclusions
Les auteurs ne se limitent pas à un seul domaine. Le même principe a été appliqué à l'ensemble de données ADAE (événements indésirables) qui utilise une branche DAG de 9 nœuds, 55 variables et 1191 enregistrements. Une correspondance structurelle de 100 % a été obtenue lors de la première tentative. Cela suggère que la méthode se généralise au-delà de l'ADSL et convient à d'autres types de données cliniques.
La principale issue du travail : la fiabilité de la programmation clinique n'est pas obtenue par le « raisonnement intelligent » des LLM, mais par l'encodage des connaissances du domaine sur le processus sous forme de topologie graphique. Le modèle demeure un élément important, mais pas le seul, du système. C'est le graphique qui définit les contraintes et l'ordre, tandis que le modèle de langue le remplit de code concret. Cette symbiose permet d'obtenir des résultats conformes au GxP sur lesquels on peut se fier dans les présentations réglementaires.
