Método CHOIR: a enumeração livre revela posições divergentes dos modelos dentro de sistemas coletivos

O que o CHOIR oferece

CHOIR é a sigla de Collective Hierarchically-Ordered Inquiry Responses. A abordagem adapta a elicitação por lista livre a ensembles de LLMs. O seu objetivo é revelar os pontos em que os modelos do ensemble divergem. A concordância superficial entre as respostas oculta essas divergências.

O método trabalha com listas, e não com formulações prontas. Consultas repetidas permitem recolher material sobre os temas que os próprios modelos levantam. Depois, esse material é normalizado para permitir a comparação.

Critério prático: recorrer ao CHOIR quando as respostas do ensemble parecem iguais, mas é preciso perceber exatamente em que pontos os modelos divergem.

Etapas do método

O método assenta em três etapas.

1. Consultas repetidas aos modelos do ensemble para obter listas ordenadas.
2. Agrupamento dos elementos das listas em conceitos ao nível do prompt.
3. Medição da saliência dos conceitos entre modelos, variantes de prompts e condições com personas.

Cada etapa acrescenta uma dimensão. As listas fornecem o material em bruto, o agrupamento normaliza-o para permitir a comparação e a medição da saliência revela as diferenças. Sem a agregação em conceitos, a comparação continua ao nível de palavras isoladas.

Critério prático: avaliar se o método preserva as diferenças depois de agrupar os elementos em conceitos.

Em que conjuntos foi testado

Os conjuntos têm objetivos diferentes. O conjunto externo mostra o panorama geral da concordância e, ao mesmo tempo, distingue prompts amplos de prompts estreitos. O conjunto direcionado foi concebido para identificar diferenças ao nível dos mecanismos.

Critério de escolha: usar o conjunto externo de prompts para obter um panorama da concordância e o conjunto de diagnóstico para analisar os mecanismos.

Que sinais de diferenças são visíveis

As observações dividem-se em três grupos.

• A identidade do modelo de base continua a ser o sinal mais forte que pode ser recuperado. Isto é válido tanto para as verificações direcionadas como para o conjunto externo de prompts.
• Os prompts com personas alteram os conceitos que se manifestam nas assinaturas dos modelos de base.
• Um módulo de classificação que desconhece a origem identifica candidatos raros, mas estáveis, para análise posterior.

As personas alteram a manifestação dos conceitos, mas não se sobrepõem ao sinal do modelo de base. A classificação sem conhecimento da origem funciona como um filtro para análise posterior.

Critério prático: identificar primeiro o modelo de base e, depois, avaliar o efeito da persona.

Um enquadramento de diagnóstico em vez da constatação de concordância

Os autores propõem encarar a homogeneidade das respostas abertas como um problema de diagnóstico. A pergunta passa então a ser outra: em que pontos os modelos convergem, porque convergem e o que mais é possível descobrir.

• Onde convergem — mapa dos conceitos coincidentes entre modelos.
• Porque convergem — motivos por trás da concordância superficial.
• O que mais é visível — candidatos identificados pela classificação sem conhecimento da origem.

O artigo foi publicado nos Proceedings of the Third Conference on Language Modeling (COLM 2026), em 2026. Foi submetido ao arXiv em 29 de setembro de 2026. Os autores são Ben Wigler e Maria Tsfasman.

Critério: a homogeneidade das respostas não é uma conclusão final, mas o ponto de partida para diagnosticar a profundidade.