Método CHOIR: la enumeración libre revela las posiciones divergentes de los modelos dentro de sistemas colectivos

Qué aporta CHOIR

CHOIR significa Collective Hierarchically-Ordered Inquiry Responses. El enfoque adapta la elicitación mediante listas libres a los conjuntos de LLM. Su objetivo es sacar a la luz las posiciones en las que los modelos del conjunto discrepan. El acuerdo superficial entre las respuestas oculta esas discrepancias.

El método trabaja con enumeraciones, no con formulaciones ya preparadas. Las consultas repetidas proporcionan material sobre los temas que los modelos plantean por sí mismos. Después, ese material se normaliza para poder compararlo.

Criterio práctico: recurrir a CHOIR cuando las respuestas del conjunto parezcan iguales, pero se necesite entender en qué aspectos concretos difieren los modelos.

Etapas del método

El método consta de tres pasos.

1. Consultar repetidamente a los modelos del conjunto para obtener listas ordenadas.
2. Agrupar los elementos de las listas en conceptos a nivel de prompt.
3. Medir la prominencia de los conceptos entre modelos, variantes de prompts y condiciones con personas.

Cada paso añade una dimensión. Las listas aportan el material en bruto, la agrupación lo normaliza para poder compararlo y la medición de la prominencia muestra las diferencias. Sin reducir los elementos a conceptos, la comparación se limita a palabras aisladas.

Criterio práctico: evaluar el método según si conserva las diferencias después de agrupar los elementos en conceptos.

Con qué conjuntos se probó

Los conjuntos cumplen funciones diferentes. El conjunto externo muestra el panorama general del acuerdo y, al mismo tiempo, distingue los prompts amplios de los específicos. El conjunto específico está diseñado para detectar diferencias a nivel de mecanismos.

Criterio de selección: usar el conjunto externo de prompts para obtener una visión general del acuerdo y el conjunto de diagnóstico para analizar los mecanismos.

Qué señales de diferencias se aprecian

Las observaciones se agrupan en tres categorías.

• La identidad del modelo base sigue siendo la señal más sólida que se puede recuperar. Esto es así tanto en las comprobaciones específicas como en el conjunto externo de prompts.
• Los prompts con personas desplazan los conceptos que se manifiestan dentro de las firmas de los modelos base.
• Un módulo de clasificación que desconoce la fuente identifica candidatos poco frecuentes, pero estables, para estudiarlos posteriormente.

Las personas modifican la manifestación de los conceptos, pero no eclipsan la señal del modelo base. La clasificación sin conocimiento de la fuente funciona como filtro para un análisis posterior.

Criterio práctico: primero fijar el modelo base y después evaluar el desplazamiento provocado por la persona.

Un marco de diagnóstico en lugar de una constatación de acuerdo

Los autores proponen considerar la homogeneidad de las respuestas abiertas como un problema de diagnóstico. La pregunta pasa a ser otra: en qué aspectos coinciden los modelos, por qué coinciden y qué más se puede detectar.

• En qué coinciden: mapa de los conceptos compartidos entre modelos.
• Por qué coinciden: causas subyacentes al acuerdo superficial.
• Qué más se aprecia: candidatos identificados por la clasificación sin conocimiento de la fuente.

El artículo se publicó en Proceedings of the Third Conference on Language Modeling (COLM 2026), 2026. Se presentó en arXiv el 29 de septiembre de 2026. Sus autores son Ben Wigler y Maria Tsfasman.

Criterio: la homogeneidad de las respuestas no es una conclusión definitiva, sino el punto de partida para diagnosticar su profundidad.