Court et bref
Un modèle de langue moderne peut-il remplacer un critique en direct lors d'une conférence d'apprentissage automatique? Les chercheurs l'ont testé sur de vrais matériaux de la CILR, l'un des lieux les plus prestigieux du domaine. Dans un article publié sur arXiv (numéro 2608.0359), Abraham Camelo-Guerrero et Jairo Diaz-Rodriguez ont comparé la façon dont trois modèles bien connus traitent l'évaluation des soumissions scientifiques par rapport aux décisions humaines.
La conclusion est double : les algorithmes font un travail décent de séparer les documents « acceptés » des documents rejetés, mais ils manquent complètement les distinctions plus fines, comme la différence entre une présentation orale et une affiche. En même temps, chaque modèle montre sa propre signature : l'un donne des notes généreuses, l'autre est trop strict avec des papiers forts. Les examinateurs se concentrent également sur des faiblesses complètement différentes de celles des experts humains.
Bref, il est possible d'utiliser les LLM comme filtre rugueux, mais il est prématuré de leur faire entièrement confiance avec la décision finale. Ci-dessous, nous décrivons les détails de l'expérience et ses résultats.
Comment l'expérience est mise en place
Données et conditions
Les auteurs ont présenté 300 mémoires à la CILR 2026 et ont équilibré l'échantillon en trois catégories : présentations orales, affiches et documents rejetés, soit une centaine de documents. Cette approche garantit que les modèles ne se contentent pas de deviner, mais sont en fait obligés de distinguer les trois classes.
Chaque modèle — GPT-5.4, Gemini 3.1 Pro Preview et Claude Opus 4.6 — ont reçu le même ensemble d'instructions et d'échelles de notation. Un détail important: les informations sur la décision humaine ont été retirées des textes de soumission à l'avance. Ceci est nécessaire pour éviter les fuites de réponse et pour tester honnêtement la capacité du modèle à faire un jugement indépendant.
Méthode de comparaison
Les chercheurs ont examiné les résultats sous trois angles. Tout d'abord, ils ont vérifié dans quelle mesure les prédictions des modèles correspondent avec précision aux décisions finales, tant au sens large (accepté ou non) qu'en détail (oral contre affiche). Deuxièmement, ils ont étudié comment les modèles utilisent l'échelle de recommandation : par exemple, s'ils gonflent les scores. Troisièmement, ils ont comparé les faiblesses des documents qui sont trouvées par les humains et par les algorithmes.
Ce que les résultats montrent
Distinguer le sort des communications
Les nouvelles encourageantes : les trois LLM distinguent avec confiance les documents acceptés des documents rejetés. Cela signifie que les examens de modèles portent un signal utile, même sans formation sur les données spécifiques aux conférences. Cependant, le succès s'arrête là.
Aucun des modèles n'a réussi à reproduire la distinction entre oral et affiche qui était évidente dans les jugements humains. Pour les algorithmes, les documents acceptés ressemblaient à un groupe homogène, même s'il existe une hiérarchie notable entre une présentation orale et une affiche. Il s'agit là d'une lacune importante : les critères de qualité à grain fin qui distinguent la recherche exceptionnelle d'un simple bon travail ne sont pas encore saisis par les machines.
Différences entre les fournisseurs de modèles
Le comportement des modèles s'est avéré fortement lié au développeur. Gemini 3.1 Pro Preview a agi comme un critique « clément » classique : ses scores étaient constamment supérieurs à la moyenne. Fait intéressant, GPT-5.4 et Claude Opus 4.6 étaient beaucoup plus proches des humains quand il est venu à rejeter et poster des papiers, mais Dans le même temps, la rigueur s'est accrue à l'égard des présentations orales.
Ce biais peut être interprété de différentes manières. Peut-être que les modèles "nitpick" articles forts en raison d'attentes élevées: il est plus facile de trouver un point vulnérable dans un bon texte que dans un clair faible. Ou peut-être l'architecture de l'attention ne sait tout simplement pas à l'échelle des louanges: pour elle, il n'y a pas de grande différence entre "bon" et "excellent".
Différences thématiques
La partie la plus curieuse est ce que les critiques de machine font attention. Les trois modèles ont souvent mis en évidence l'absence d'expériences comparatives de base — une critique classique du travail scientifique. Les experts humains, quant à eux, ont beaucoup plus souvent soulevé des questions d'efficacité computationnelle : combien de ressources la méthode proposée demande, combien elle est pratique.
Ce n'est pas seulement une différence de style. Il reflète une différence de priorités. Les humains pensent à l'application du monde réel, au coût de la formation et du déploiement, tandis que les modèles évaluent le texte plus comme un document officiel. Donc, si vous utilisez un LLM pour une vérification préliminaire d'un document, vous devriez être préparé que certains commentaires importants ne vous parviennent tout simplement pas.
Conclusions
La principale leçon de cette étude : l'exactitude d'un modèle au niveau « accepté/rejeté » n'indique pas encore sa compétence en évaluation détaillée. La possibilité de distinguer les papiers manifestement faibles du reste est un filtre assez grossier qui ne remplace pas l'examen réfléchi.
L'application pratique se suggère : les LLM peuvent être utilisés comme assistants primaires qui filtrent de masse des présentations manifestement inappropriées ou des défauts formels évidents. Mais les décisions concernant le sort des papiers solides devraient rester avec les humains, ne serait-ce que parce que l'échelle humaine des valeurs (priorité de l'efficacité, évaluation de la nouveauté, contexte de terrain) diffère nettement de celle de la machine.
À long terme, il serait peut-être judicieux d ' étalonner des modèles pour des communautés spécifiques et même pour des examinateurs spécifiques. Mais jusqu'à ce que cela arrive, le recours à l'examen automatisé dans la communication scientifique est au moins prématuré.
