TeachBack: двусторонняя настройка предпочтений учит модель-наставника исследовать задачу, а не пересказывать эталон

Почему точный Teacher не гарантирует полезную супервизию

On-policy self-distillation (OPSD) позволяет языковой модели учиться у Teacher. В основе Teacher лежит та же модель. При этом Teacher имеет доступ к привилегированной информации. Пример такой информации — эталонное решение. Доступ к ней позволяет Teacher генерировать высокоточные траектории.

Однако точность траекторий не гарантирует их пригодность для Student. Доступ к полному решению может приводить к сокращённым выводам. Причина таких выводов — эталон. В них отсутствуют исследование, проверка и самокоррекция. Эти элементы нужны для решения задач без привилегированной информации.

Признаки траектории, пригодной для обучения Student:

• содержит исследование задачи;
• включает проверку промежуточных шагов;
• показывает самокоррекцию;
• не воспроизводит сокращённый вывод по эталону.

Практический критерий: оценивать супервизию по структуре рассуждения, а не только по правильности ответа.

Как TeachBack меняет поведение Teacher

TeachBack — фреймворк двунаправленного обучения на предпочтениях для OPSD. Он учит Student у Teacher. Он также формирует то, как Teacher должен преподавать.

Фреймворк регулирует поведение Teacher двумя способами:

• регулирует длину суффикса рассуждений по эталону в промпте;
• меняет стиль промпта.

При сопоставимой точности Teacher начинает исследовать задачу и решать её заново. Teacher меньше зависит от эталонного решения.

Практический критерий: проверять, воспроизводит ли Teacher поиск и проверку. Сокращённый вывод по эталону не подходит для обучения Student без привилегированной информации.

Механика двусторонних предпочтений

При каждом обновлении rollout общая политика генерирует две траектории. Первая — привилегированная траектория Teacher. Вторая — траектория Student, которому доступно только условие задачи.

Попарная функция предпочтений использует привилегированные траектории Teacher для улучшения обучения Student. Обратное предпочтение использует поведение Student. Оно формирует будущую супервизию Teacher в привилегированных условиях.

Практический критерий: наличие обратного предпочтения, которое использует поведение Student.

Что показывают эксперименты

Эксперименты проверяют TeachBack на задачах рассуждения. Результаты:

• задачи — математическое и логическое рассуждение;
• база сравнения — существующие методы OPSD и связанные базовые методы;
• эффект — стабильное улучшение результатов Student.

Практический критерий выбора: задачи рассуждения, где Student решает задачу без эталона.