TeachBack：双向偏好调优教会导师模型探索任务，而非复述标准答案

为什么准确的教师模型并不保证提供有用的监督

策略内自蒸馏（OPSD）使语言模型能够向教师模型学习。教师模型基于同一个模型，同时能够访问特权信息，例如标准答案。访问这些信息使教师模型能够生成高准确度的轨迹。

然而，轨迹准确并不意味着它们适合学生模型。访问完整解答可能导致推理过程被简化。这类推理之所以出现，是因为有标准答案。它们缺少探索、验证和自我纠正，而这些环节对于在没有特权信息的情况下解决问题至关重要。

适合用于训练学生模型的轨迹具有以下特征：

• 包含对问题的探索；
• 包含对中间步骤的验证；
• 展示自我纠正；
• 不会复现基于标准答案的简化推理。

实用标准：根据推理结构评估监督，而不只是看答案是否正确。

TeachBack 如何改变教师模型的行为

TeachBack 是一种用于 OPSD 的双向偏好学习框架。它让学生模型向教师模型学习，同时也塑造教师模型应如何教学。

该框架通过两种方式调节教师模型的行为：

• 调节提示中基于标准答案的推理后缀长度；
• 改变提示风格。

在准确度相当的情况下，教师模型会开始探索问题并重新求解。教师模型对标准答案的依赖会降低。

实用标准：检查教师模型是否复现了探索和验证过程。基于标准答案的简化推理不适合用于训练无法访问特权信息的学生模型。

双向偏好的机制

每次 rollout 更新时，共享策略都会生成两条轨迹。第一条是特权条件下教师模型生成的轨迹。第二条是学生模型生成的轨迹，学生模型只能访问题目条件。

成对偏好函数利用教师模型的特权轨迹来改进学生模型的训练。反向偏好则利用学生模型的行为，为教师模型在特权条件下提供未来的监督。

实用标准：包含利用学生模型行为的反向偏好。

实验结果

实验在推理任务上检验 TeachBack。结果如下：

• 任务——数学推理和逻辑推理；
• 对比基准——现有 OPSD 方法及相关基线方法；
• 效果——学生模型的表现稳定提升。

实用选择标准：选择学生模型需要在没有标准答案的情况下解决问题的推理任务。