大型语言模型正越来越多地扮演对话者、助手和自动化“执行者”的角色。我们赋予它们的责任越大，就越需要提前了解模型的行动风格：它在哪些情况下倾向于让步，在哪些情况下坚持己见，又在哪些情况下只是给出一个看似合理的回答。在实践中，LLM的“个性”常常被尝试用经典心理学问卷来衡量，例如大五人格量表（BFI）。但这种将针对人的方法套用到神经网络上的做法，会出现问题。
为什么BFI不适合评估LLM
BFI方法的逻辑看似合理：对人测量经验开放性、尽责性、外向性、宜人性和神经质——为什么不按同样的维度来测试模型呢？问题在于，BFI及类似问卷是为人类设计的，预设了自我报告的能力。神经网络并不像人那样反思自身：它只是基于训练数据挑选最合理的文本。因此，结果在很大程度上取决于“偶然”的细节：问题的措辞、陈述的顺序、系统提示词中的微小改动。
由此引出第一个限制——可靠性低。用同一测试对同一模型进行最小改动后反复运行，可能会得到不同的“个性”。这种评估对工程决策几乎无用：不能认真依赖一个会因几个同义词而改变的特征描述。
第二个问题更为深层。BFI的心理学构念描述的是人，而非计算系统。模型没有人类意义上的个性，尽管其行为中可能体现出稳定的模式。经典问卷试图捕捉为人类设计的概念，正因如此，它很难预测LLM在实际请求中的表现：这类工具用于预测的有效性十分有限。
CSI：为模型而非为人设计的问卷
与其无休止地调整人类问卷，新工作的作者提议从头重建工具。核心情绪清单（CSI）是专门为评估LLM人格特质而设计的。关键思路是摆脱“同意/不同意”的直接回答。CSI通过间接信号重建画像，即实际上根据模型在给定情境中选择的行为方式来评估。这种隐式评估较少诱发模型的“合意”回答，并能揭示更自然的行为模式。
该方法最初覆盖两种语言——英语和中文。这一点至关重要：语言和文化背景会改变模型的行为，而双语问卷可以追踪这种差异，而不是给出一个平均化的画像。CSI的输出不仅仅是几个分数，而是模型的心理画像：描述哪些特质在何种条件下表现得更突出。
实验显示了什么
在实验中，作者将CSI与现有的LLM人格评估方法进行了比较。据他们的数据，新方法在三个层面上同时发挥作用：
- 对细微差别的敏感性。 CSI能捕捉模型行为的细微差异，包括不同语言和上下文类型之间的差异。画像不会将行为平滑为平均值，而是保留重要细节。
- 可靠性。 CSI的结果比现有工具明显更一致、更稳定。条件的微小变化对最终结果的影响更小。
- 预测性。 CSI评估与模型实际输出之间的相关性超过了0.85。这是一个强关联：如果CSI表明模型倾向于以某种方式行事，那么实际行为与预测高度吻合的概率很高。
这样的特性组合很少见：有些方法能很好地区分行为但不稳定；另一些则稳定，但对模型的实际行为说明甚少。CSI试图兼顾这两种品质。
这在实践中有何用处
稳定的LLM人格画像不仅作为研究对象有价值。它是一种质量控制工具：可以提前确定助手需要什么样的沟通风格，并确保模型不会因任务措辞的变化而“崩溃”。CSI还允许根据行为特征在模型之间进行比较，而不仅仅依赖知识类基准测试。
最后，这种评估“个性”的框架对负责任的AI开发至关重要。我们越准确地理解模型中固化了哪些行为模式，就能越早发现不良倾向——在它们于实际产品中显现之前。作者已公开了该方法的代码，因此结果可以被复现，并在自己的模型上进行验证。
