Método GoldiMask para el ajuste fino de modelos de lenguaje de difusión: selección del contexto y ponderación de objetivos

El enmascaramiento determina dos decisiones a la vez

El ajuste fino de los modelos de lenguaje de difusión discreta se basa en recuperar tokens enmascarados. Una parte de los tokens de respuesta se oculta con una máscara y el modelo predice sus valores originales a partir del contexto visible.

El esquema de enmascaramiento determina dos cosas a la vez. Define qué contexto tiene disponible el modelo. También define qué tokens se convierten en objetivos de predicción.

Estas decisiones están relacionadas: un token revelado deja de ser un objetivo. El enmascaramiento aleatorio uniforme no tiene en cuenta esta relación. Por eso, algunos tokens se revelan en situaciones en las que apenas ayudan a la predicción.

La metodología GoldiMask se describe en el artículo Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting (arXiv:2609.38385, 29 de septiembre de 2026). Está diseñada para el ajuste fino supervisado de modelos de lenguaje de difusión discreta.

Criterio: el esquema de enmascaramiento debe evaluarse como una decisión conjunta sobre el contexto y los objetivos. Así se ve dónde está justificado revelar tokens y dónde no.

Selección del contexto a partir de señales del modelo

GoldiMask selecciona los tokens que se revelarán como contexto. La selección aproxima la maximización de una función objetivo submodular.

El método utiliza señales del modelo y equilibra dos magnitudes:

• el beneficio de revelar un token concreto;
• el valor de ese token como objetivo de predicción.

Conviene revelar un token que ayude a predecir el contexto que lo rodea. Es mejor dejar como objetivo un token que el modelo predice mal.

Criterio práctico: la selección aleatoria del contexto no utiliza las señales del modelo. Si se aplica precisamente este esquema, el potencial de la selección del contexto queda sin aprovechar.

Ponderación de los tokens objetivo

Tras seleccionar el contexto, algunos tokens siguen siendo objetivos de predicción. GoldiMask les asigna pesos teniendo en cuenta dos factores:

• cuánto ayuda el contexto seleccionado a predecir un token concreto;
• cuánto potencial de aprendizaje conserva ese token.

De este modo, el peso vincula los objetivos con la decisión sobre el contexto que ya se ha tomado. La ponderación no determina qué revelar. Define la contribución al aprendizaje de los tokens que permanecen ocultos.

Criterio: al analizar un esquema de enmascaramiento, conviene separar dos preguntas: qué revelar y con qué peso entrenar lo que queda.

Resultados en modelos y conjuntos de datos

GoldiMask se probó con tres modelos base y tres conjuntos de datos de entrenamiento. La precisión media del método fue la más alta en la mayoría de las configuraciones evaluadas.

Las mejoras abarcaron tareas de razonamiento y generación de código. Las ablaciones de los componentes mostraron que ambos mecanismos contribuyen a las mejoras: tanto la selección del contexto como la ponderación de los tokens objetivo.

Criterio práctico: obtener la mayor precisión en la mayoría de las configuraciones no significa ganar en todas ellas. Conviene probar el método con cada combinación concreta de modelo base y conjunto de entrenamiento.

Efecto en la decodificación paralela

Otro resultado se refiere a la decodificación paralela con umbral de confianza. En GSM8K y MATH-500, GoldiMask reduce el número de iteraciones de decodificación.

La precisión se mantiene comparable con umbrales de confianza más altos.

Criterio práctico: si el pipeline utiliza decodificación paralela con umbral de confianza, el método influye tanto en el número de pasos de decodificación como en la precisión. En este caso, evaluar solo la precisión ofrece una visión incompleta.