Méthode GoldiMask pour l’ajustement fin des modèles de langage à diffusion : sélection du contexte et pondération des objectifs
Cet article présente GoldiMask, une approche de fine-tuning supervisé pour les modèles de langage à diffusion discrète, qui sélectionne les tokens visibles par maximisation approximative d’une fonction sous-modulaire et attribue des poids aux objectifs restants en fonction de leur utilité pour l’entraînement. Des expériences menées sur plusieurs modèles et jeux de données montrent une hausse de la précision moyenne, des gains sur les tâches de raisonnement logique et de programmation, ainsi qu’une réduction du nombre d’itérations de décodage parallèle sur GSM8K et MATH-500 à qualité comparable.








