Méthode CHOIR : l’énumération libre révèle les positions divergentes des modèles au sein des systèmes collectifs

Ce que CHOIR apporte

CHOIR signifie Collective Hierarchically-Ordered Inquiry Responses. Cette approche adapte l’élicitation par liste libre aux ensembles de LLM. Son objectif est de mettre au jour les positions sur lesquelles les modèles d’un ensemble divergent. La concordance apparente des réponses masque ces divergences.

La méthode s’appuie sur des énumérations, et non sur des formulations toutes faites. Des requêtes répétées fournissent des éléments sur les thèmes que les modèles soulèvent spontanément. Ces éléments sont ensuite ramenés à une forme comparable.

Critère pratique : utiliser CHOIR lorsque les réponses de l’ensemble semblent identiques, mais qu’il faut comprendre précisément où les modèles divergent.

Étapes de la méthode

La méthode repose sur trois étapes.

1. Requêtes répétées de listes classées auprès des modèles de l’ensemble.
2. Regroupement des éléments des listes en concepts au niveau du prompt.
3. Mesure de la saillance des concepts entre les modèles, les variantes de prompts et les conditions avec personas.

Chaque étape ajoute une dimension. Les listes fournissent la matière brute, le regroupement la rend comparable, et la mesure de la saillance révèle les différences. Sans ramener les éléments à des concepts, la comparaison reste au niveau des mots isolés.

Critère pratique : évaluer la méthode en vérifiant si elle préserve les différences après le regroupement des éléments en concepts.

Sur quels jeux de données la méthode a été testée

Les jeux de données répondent à des objectifs différents. Le jeu externe donne une vue d’ensemble de la concordance tout en distinguant les prompts larges des prompts étroits. Le jeu ciblé est conçu pour mettre en évidence les différences au niveau des mécanismes.

Critère de choix : utiliser le jeu de prompts externe pour obtenir une vue d’ensemble de la concordance, et le jeu diagnostique pour analyser les mécanismes.

Quels signes de divergence sont visibles

Les observations se répartissent en trois groupes.

• L’identité du modèle de base reste le signe le plus fort qu’il est possible de retrouver. C’est vrai aussi bien pour les tests ciblés que pour le jeu de prompts externe.
• Les prompts avec personas modifient les concepts qui se manifestent dans les signatures des modèles de base.
• Un module de classement ignorant la source met en évidence des candidats rares, mais stables, à étudier par la suite.

Les personas modifient la manifestation des concepts, mais n’effacent pas le signal du modèle de base. Le classement sans connaissance de la source sert de filtre pour l’analyse ultérieure.

Critère pratique : commencer par identifier le modèle de base, puis évaluer le déplacement induit par le persona.

Un cadre diagnostique plutôt qu’un constat de concordance

Les auteurs proposent de considérer l’homogénéité des réponses ouvertes comme un problème de diagnostic. La question se pose alors autrement : où les modèles convergent-ils, pourquoi convergent-ils et que peut-on encore détecter ?

• Où ils convergent — carte des concepts communs aux modèles.
• Pourquoi ils convergent — causes sous-jacentes à la concordance apparente.
• Ce qui reste visible — candidats mis en évidence par le classement sans connaissance de la source.

L’article a été publié dans les Proceedings of the Third Conference on Language Modeling (COLM 2026), en 2026. Il a été soumis à arXiv le 29 septembre 2026. Les auteurs sont Ben Wigler et Maria Tsfasman.

Critère : l’homogénéité des réponses n’est pas une conclusion finale, mais le point de départ d’un diagnostic approfondi.