大型语言模型的强化学习训练往往显得粗糙：系统只能对整个回答给出“对”或“错”，然后让模型自己猜测哪里出了问题。由Zirui Liu团队在arXiv:2606.09887预印本中提出的SocraticPO方法试图修正这一点。它并非简单地告知模型错误，而是让“教师”以自然语言的形式提示推理方向——而模型本身仍然在标准RL框架内学习。
为什么二元奖励不够
在典型的RL循环中，语言模型生成推理链，然后获得一个标量的结果奖励：例如，与正确答案匹配就给予奖励。这种评估设定了优化方向，但并未解释推理在哪一步走错了路。
因此，模型常常寻找捷径：它会记住那些看起来合理的模式，但这些模式经不起新任务的检验。最终结果是脆弱的策略——在熟悉的例题类型上表现优异，一旦表述稍有变化就崩溃。二元信号过于贫乏，不足以教会模型真正的推理。
SocraticPO的工作原理
核心思想是在轨迹生成过程中加入苏格拉底式的自然语言引导。流程如下：
- 学生独立作答。 模型在无外部帮助的情况下尝试解决问题。
- 教师检查推理。 如果答案正确，轨迹照常结束。
- 出错时教师诊断尝试。 教师不直接给出答案，而是简要指出问题所在，或提出一个引导性的问题，如同苏格拉底式对话。
- 学生在扩展的上下文中继续。 模型看到自己最初的推理链和教师的提示，然后尝试得出正确答案。
这种方法与在作答前直接提供提示有本质区别：干预只发生在模型已经展示出其“朴素”推理之后。这意味着教师可以针对学生的真实错误进行引导，而非给出抽象的“应该这样做”。
为什么需要“衰减”奖励
如果经过教师修正后的正确答案与完全独立得出的答案获得同等奖励，模型就会倾向于故意犯错，以便总能获得提示。这会把教师变成一个免费提供正确答案的来源。
SocraticPO巧妙地绕过了这个问题：在干预之后才得到的正确答案只能获得减少的奖励。模型可以利用提示，但无法因此获得全额奖励。这种机制降低了对外部帮助的依赖，促使模型将教师的引导用于学习，而非作为投机取巧的途径。
与现有方法的兼容性
SocraticPO的一个重要优势在于对学习算法本身的干预极小。该框架只改变轨迹生成的过程，而标准的优化目标——最大化期望奖励——保持不变。因此，该方法可以轻松集成到现有的策略梯度方法中，例如Reinforce++。
另一个优点是教师无需访问模型的内部结构。由于引导仅通过文本传递，教师角色可以由一个作为“黑盒”运行的更强模型来承担。无需对齐token分布，也无需使用学生模型的logits。
实验结果
作者在SciKnowEval数据集中的本科水平科学问题上验证了SocraticPO。在此，该方法超越了强大的RL基线以及基于自蒸馏（即模型用自己修正后的答案进行训练）的方法。
消融实验表明，两个必要组件需要协同工作。仅靠有针对性的文本提示就能显著提升结果，而奖励衰减则为防止对“助手”的过拟合提供了重要保障。如果移除其中任何一个，效率都会下降。
这在实践中意味着什么
SocraticPO的有趣之处在于，它让RL中的反馈更接近自然的学习过程。模型不仅仅因为错误答案而受到惩罚——它还会被告知应该思考的方向。
同时，这种“人性化”并不需要完全重写RL框架：只需替换轨迹生成过程，其余基础设施均可保留。随着开放模型与封闭模型之间的差距不断拉大，使用强大的黑盒模型作为教师这一能力将尤为宝贵。
仍有一个问题悬而未决：该框架在需要多轮对话的、更复杂的多步任务中将表现如何。但就目前而言，在RL中注入有实质内容的错误解释而非简单评分，这一想法看起来是通往更稳健的推理模型的自然下一步。
