डिफ्यूज़न भाषा मॉडल्स को फ़ाइन-ट्यून करने की GoldiMask विधि: संदर्भ चयन और लक्ष्य भारांकन

मास्किंग एक साथ दो निर्णय तय करती है

डिस्क्रीट डिफ्यूज़न भाषा मॉडल का फ़ाइन-ट्यूनिंग, मास्क किए गए टोकन को पुनर्स्थापित करने पर निर्भर करता है। उत्तर के कुछ टोकन मास्क से ढक दिए जाते हैं, और मॉडल दिखाई देने वाले संदर्भ के आधार पर उनके मूल मानों का अनुमान लगाता है।

मास्किंग की योजना एक साथ दो चीज़ें तय करती है। यह निर्धारित करती है कि मॉडल को कौन-सा संदर्भ उपलब्ध होगा। यह भी तय करती है कि कौन-से टोकन पूर्वानुमान के लक्ष्य बनेंगे।

ये निर्णय आपस में जुड़े हुए हैं: किसी टोकन को दिखाने पर वह लक्ष्य नहीं रह जाता। समान रूप से यादृच्छिक मास्किंग इस संबंध पर ध्यान नहीं देती। इसलिए कुछ टोकन ऐसे स्थानों पर दिखा दिए जाते हैं जहाँ इससे पूर्वानुमान में बहुत कम मदद मिलती है।

GoldiMask पद्धति का वर्णन शोधपत्र Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting (arXiv:2609.38385, 29 सितंबर 2026) में किया गया है। इसे डिस्क्रीट डिफ्यूज़न भाषा मॉडल के supervised fine-tuning के लिए बनाया गया है।

मानदंड: मास्किंग योजना का मूल्यांकन संदर्भ और लक्ष्यों के बारे में एक संयुक्त निर्णय के रूप में किया जाना चाहिए। इससे पता चलता है कि टोकन दिखाना कहाँ उचित है और कहाँ नहीं।

मॉडल के संकेतों के आधार पर संदर्भ का चयन

GoldiMask उन टोकन का चयन करता है जिन्हें संदर्भ के रूप में दिखाया जाएगा। यह चयन लगभग सबमॉड्यूलर उद्देश्य फ़ंक्शन को अधिकतम करता है।

यह विधि मॉडल के संकेतों का उपयोग करती है और दो चीज़ों के बीच संतुलन बनाती है:

• किसी विशिष्ट टोकन को दिखाने से मिलने वाला लाभ;
• पूर्वानुमान के लक्ष्य के रूप में उस टोकन का मूल्य।

जो टोकन आसपास के टोकन का पूर्वानुमान लगाने में मदद करता है, उसे दिखाना फ़ायदेमंद है। जिस टोकन का मॉडल ठीक से पूर्वानुमान नहीं लगा पाता, उसे लक्ष्य के रूप में छोड़ना अधिक फ़ायदेमंद है।

व्यावहारिक मानदंड: संदर्भ का यादृच्छिक चयन मॉडल के संकेतों का उपयोग नहीं करता। यदि यही योजना अपनाई जाती है, तो संदर्भ चयन की संभावना का उपयोग नहीं हो पाता।

लक्ष्य टोकन का भार निर्धारित करना

संदर्भ चुनने के बाद, कुछ टोकन पूर्वानुमान के लक्ष्य बने रहते हैं। GoldiMask दो कारकों को ध्यान में रखते हुए उनका भार निर्धारित करता है:

• चुना गया संदर्भ किसी विशिष्ट टोकन का पूर्वानुमान लगाने में कितनी मदद करता है;
• उस टोकन में प्रशिक्षण की कितनी संभावना बाकी है।

इस तरह भार, लक्ष्यों को संदर्भ के बारे में पहले ही लिए गए निर्णय से जोड़ता है। भार निर्धारित करने से यह नहीं चुना जाता कि क्या दिखाना है। इससे तय होता है कि बंद रह गए टोकन प्रशिक्षण में कितना योगदान देंगे।

मानदंड: मास्किंग योजना का विश्लेषण करते समय दो प्रश्न अलग-अलग रखना उपयोगी है—क्या दिखाना है और बचे हुए टोकन को किस भार से प्रशिक्षित करना है।

मॉडल और डेटासेट पर परिणाम

GoldiMask को तीन बेस मॉडल और तीन प्रशिक्षण डेटासेट पर परखा गया। अधिकांश मूल्यांकित सेटिंग में इस विधि की औसत सटीकता सबसे अधिक रही।

इससे तर्क और कोड जनरेशन से जुड़े कार्यों में सुधार हुआ। घटकों के एब्लेशन से पता चला कि सुधार में दोनों तंत्र योगदान देते हैं: संदर्भ का चयन और लक्ष्य टोकन का भार निर्धारित करना।

व्यावहारिक मानदंड: अधिकांश सेटिंग में सबसे अधिक सटीकता का अर्थ यह नहीं है कि हर कॉन्फ़िगरेशन में लाभ मिलेगा। इस विधि को किसी विशिष्ट “बेस मॉडल + प्रशिक्षण डेटासेट” जोड़ी पर जाँचना उपयोगी है।

समानांतर डिकोडिंग पर प्रभाव

एक अलग परिणाम विश्वास सीमा के साथ समानांतर डिकोडिंग से संबंधित है। GSM8K और MATH-500 पर GoldiMask डिकोडिंग पुनरावृत्तियों की संख्या कम करता है।

विश्वास की ऊँची सीमाओं पर भी सटीकता लगभग समान बनी रहती है।

व्यावहारिक मानदंड: यदि पाइपलाइन में विश्वास सीमा के साथ समानांतर डिकोडिंग का उपयोग होता है, तो यह विधि डिकोडिंग चरणों की संख्या और सटीकता—दोनों को प्रभावित करती है। यहाँ केवल सटीकता के आधार पर मूल्यांकन करना अधूरा होगा।