CHOIR 方法：自由列举揭示集体系统中模型立场的不一致性

CHOIR 能带来什么

CHOIR 是 Collective Hierarchically-Ordered Inquiry Responses 的缩写。这种方法将自由列表诱导法应用于 LLM 集成。它旨在揭示集成内部模型存在分歧的立场。回答表面上的一致会掩盖这些分歧。

该方法处理的是列表，而不是现成的表述。通过多次提问，可以收集模型主动提出的主题。随后，再将这些内容整理为可比较的形式。

实践标准：当集成中的回答看起来一致，但你需要了解模型具体在哪些方面存在差异时，就可以采用 CHOIR。

方法的工作步骤

该方法分为三个步骤。

1. 多次向集成中的模型请求经过排序的列表。
2. 在提示词层面将列表中的条目合并为概念。
3. 衡量不同模型、提示词变体和角色设定条件下概念的显著性。

每个步骤都会增加一个维度。列表提供原始材料，合并使其变得可比较，显著性测量则揭示差异。如果不归并为概念，比较就只能停留在单个词语层面。

实践标准：通过检查将条目合并为概念后是否仍能保留差异，来评估该方法。

在哪些数据集上进行了测试

这两个数据集解决不同的问题。外部数据集展示整体一致性的情况，同时区分宽泛提示词和狭窄提示词。目标数据集则专门用于分析机制层面的差异。

选择标准：要了解整体一致性，就使用外部提示词集；要分析机制，则使用诊断集。

可观察到哪些差异信号

观察结果可归为三组。

• 基础模型的身份仍是最强、最容易恢复的特征。无论是目标检查还是外部提示词集，都是如此。
• 角色设定提示词会改变基础模型特征中显现出来的概念。
• 不知晓来源的排序模块能够筛选出少见但稳定的候选项，供后续研究。

角色设定会改变概念的呈现方式，但不会盖过基础模型的信号。不知晓来源的排序可作为进一步分析的筛选工具。

实践标准：先确定基础模型，再评估角色设定带来的变化。

从诊断框架而非一致性陈述入手

作者建议将开放式回答的同质性视为一个诊断问题。这样一来，问题就变成了：模型在哪些方面趋同、它们为何趋同，以及还能发现什么。

• 在哪里趋同——模型之间重合概念的分布图。
• 为何趋同——表面一致背后的原因。
• 还能看到什么——由不知晓来源的排序筛选出的候选项。

本文发表于 Proceedings of the Third Conference on Language Modeling (COLM 2026)，2026 年。文章于 2026 年 9 月 29 日提交至 arXiv。作者为 Ben Wigler 和 Maria Tsfasman。

标准：回答的同质性不是最终结论，而是诊断其深度的起点。