Метод GoldiMask для дообучения диффузионных языковых моделей: выбор контекста и взвешивание целей

Маскирование задаёт два решения сразу

Дообучение дискретных диффузионных языковых моделей опирается на восстановление замаскированных токенов. Часть токенов ответа закрывается маской, и модель предсказывает их исходные значения по видимому контексту.

Схема маскирования задаёт сразу две вещи. Она определяет, какой контекст доступен модели. Она же определяет, какие токены становятся целями предсказания.

Эти решения связаны между собой: раскрытый токен перестаёт быть целью. Равномерное случайное маскирование такую связь не учитывает. Поэтому часть токенов раскрывается там, где это мало помогает предсказанию.

Методика GoldiMask описана в статье Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting (arXiv:2609.38385, 29 сентября 2026). Она предназначена для supervised fine-tuning дискретных диффузионных языковых моделей.

Критерий: схему маскирования нужно оценивать как единое решение о контексте и целях. Тогда видно, где раскрытие токенов оправдано, а где — нет.

Отбор контекста по сигналам модели

GoldiMask выбирает токены для раскрытия в качестве контекста. Выбор приближённо максимизирует субмодулярную целевую функцию.

Метод использует сигналы модели и балансирует две величины:

• пользу от раскрытия конкретного токена;
• ценность этого токена как цели предсказания.

Токен, который помогает предсказывать окружение, выгодно раскрыть. Токен, который модель предсказывает плохо, выгоднее оставить целью.

Практический критерий: случайный отбор контекста сигналы модели не использует. Если применяется именно такая схема, потенциал отбора контекста остаётся незадействованным.

Взвешивание целевых токенов

После отбора контекста часть токенов остаётся целями предсказания. GoldiMask взвешивает их с учётом двух факторов:

• насколько выбранный контекст помогает предсказывать конкретный токен;
• какой потенциал обучения у этого токена остался.

Так вес связывает цели с уже принятым решением о контексте. Взвешивание не выбирает, что раскрыть. Оно определяет вклад в обучение тех токенов, которые остались закрытыми.

Критерий: при разборе схемы маскирования полезно разделять два вопроса — что раскрыть и с каким весом учить оставшееся.

Результаты на моделях и наборах данных

GoldiMask проверили на трёх базовых моделях и трёх обучающих наборах данных. Средняя точность метода оказалась наивысшей в большинстве оценённых настроек.

Улучшения затронули задачи рассуждения и генерации кода. Абляции компонентов показали, что вклад в улучшения вносят оба механизма: и отбор контекста, и взвешивание целевых токенов.

Практический критерий: наивысшая точность в большинстве настроек не означает выигрыш в каждой конфигурации. Метод имеет смысл проверять на конкретной паре «базовая модель + обучающий набор».

Эффект на параллельное декодирование

Отдельный результат касается параллельного декодирования с порогом уверенности. На GSM8K и MATH-500 GoldiMask сокращает число итераций декодирования.

Точность при этом остаётся сопоставимой при более высоких порогах уверенности.

Практический критерий: если в пайплайне применяется параллельное декодирование с порогом уверенности, метод влияет и на число шагов декодирования, и на точность. Оценка только по точности здесь неполна.