GPT दृष्टिकोण प्रतीकात्मक संगीत पर क्यों लड़खड़ाता है: संपीड़न केवल सही समन्वय प्रणाली में काम करता है
ऐसा लगता है कि प्रतीकात्मक संगीत टोकनाइज़ेशन के लिए ही बना है: नोट असतत होते हैं, स्वर-संगति दोहराई जाती है, और रूपांकन पहचानने योग्य संरचनाएँ बनाते हैं। GPT मॉडल पुनः प्रयोग योग्य टोकन के साथ बहुत अच्छा काम करते हैं, इसलिए भाषा-आधारित दृष्टिकोण को सीधे संगीत के पन्नों पर स्थानांतरित करने का प्रलोभन उत्पन्न होता है। लेकिन व्यवहार से पता चलता है: संगीत का टोकनाइज़ेशन केवल अनुक्रम को काटना नहीं है, बल्कि एक समन्वय प्रणाली का चयन करना है जिसमें मॉडल वास्तव में पैटर्न देख सके।
टोकन — सार्वभौमिक इंटरफ़ेस नहीं हैं
भाषा मॉडल की सफलता टोकन के एक सीमित शब्दकोश पर आधारित है जिसे विभिन्न संदर्भों में पुनः उपयोग किया जा सकता है। यह इंटरफ़ेस इतना सुविधाजनक है कि इसे अन्य क्षेत्रों — कोड से लेकर जैविक अनुक्रमों तक — में आज़माया जाने लगा। हालाँकि, भाषा से बाहर स्थानांतरित करते समय एक समस्या उत्पन्न होती है: इस बात का कोई एक मानदंड नहीं है कि टोकनाइज़ेशन को क्या प्रस्तुत करना चाहिए और इसे कहाँ रोकना चाहिए। जो पाठ के लिए अच्छा है, वह संगीत के लिए बेकार या हानिकारक भी हो सकता है।
यी वांग का शोध (arXiv:2608.18025) एक सामान्य मानदंड प्रस्तावित करता है — पूर्वानुमानात्मक कोड लंबाई (predictive codelength)। यह एक माप है कि अगले तत्व की भविष्यवाणी करते समय मॉडल जानकारी को कितनी अच्छी तरह संपीड़ित करता है। यदि टोकनाइज़ेशन इस लंबाई को कम करने में मदद करता है — तो इसका मतलब है कि यह डेटा की वास्तविक संरचना को पकड़ रहा है; यदि नहीं — तो यह केवल व्यवस्था का आभास पैदा कर रहा है।
संगीत को केवल शब्दकोश नहीं, समन्वय की आवश्यकता है
प्रतीकात्मक संगीत भाषा से भ्रामक रूप से मिलता-जुलता है: वही नोट, वही स्वर-संगति। लेकिन इस असततता के पीछे समय और स्वर-कुंजी के निरंतर पैरामीटर छिपे होते हैं। जब हम संगीत को शब्दों के अनुरूप टोकन में काटते हैं, तो हम अनजाने में संदर्भ की एक प्रणाली स्थिर कर देते हैं। उदाहरण के लिए, नोट की पिच को निरपेक्ष मान के रूप में एन्कोड किया जा सकता है — लेकिन तब मॉडल को स्वयं स्वर-कुंजी का अनुमान लगाना होगा। समय को पूर्णांक काउंटर के रूप में सेट किया जा सकता है — लेकिन तब स्थानांतरण और गति अप्रभेद्य हो जाते हैं।
Effectiveness–Losslessness Framework के लेखक दो सीमाएँ अलग करते हैं। Fact–Token Boundary यह निर्धारित करता है कि देखी गई संरचना को टोकन इंटरफ़ेस में कहाँ शामिल किया जाना चाहिए — उदाहरण के लिए, समन्वय के स्पष्ट निर्माण के माध्यम से। Token–State Boundary इंगित करता है कि टोकनाइज़ेशन कहाँ रुकना चाहिए: शेष निर्भरताओं की गणना मॉडल को स्वयं अपनी आंतरिक स्थिति में करनी चाहिए, न कि उन्हें टोकनाइज़र से तैयार रूप में प्राप्त करना चाहिए। यदि बहुत अधिक संपीड़ित किया जाए, तो मॉडल संदर्भ का उपयोग करने की क्षमता खो देता है; यदि बहुत कम संपीड़ित किया जाए — तो वह अनावश्यक विवरणों में डूब जाता है।
प्रयोग: समय और स्वर-कुंजी निर्णायक हैं
प्रतीकात्मक संगीत पर नियंत्रित multi-seed प्रयोगों में यह पाया गया कि संगीत समय का स्पष्ट निर्धारण लगातार पूर्वानुमानात्मक कोड को कम करता है। अर्थात्, समय-चिह्नों को टोकन के अंदर छिपाने के बजाय, उन्हें एक अलग समन्वय बनाना बेहतर है — इस तरह मॉडल नोटों की पिच और अवधि दोनों की अधिक सटीक भविष्यवाणी करने लगता है। स्वर-संदर्भ का कैननाइज़ेशन — सभी वाक्यांशों को एक समान स्वर-केंद्र में लाना — अतिरिक्त लाभ देता है। और पिच का फैक्टराइज़ेशन — स्वर-चरण और सप्तक में विभाजन — भी मदद करता है।
लेकिन यह भी महत्वपूर्ण है कि क्या काम नहीं करता। पंचम-चक्र के अनुसार पिच के निश्चित समन्वय — संदर्भ को ध्यान में रखे बिना थोपा गया सुंदर संगीत सिद्धांत — पूर्वानुमानात्मक कोड को बढ़ाते हैं। पिच संबंधों का पहले से निर्धारित अनुपात मॉडल को विशिष्ट सामंजस्य के अनुकूल होने से रोकता है। टोकनाइज़र ने मॉडल के लिए तय कर दिया कि नोटों के बीच संबंध कैसे बनते हैं, और मॉडल बिना काम के रह गया।
केवल संपीड़न के लिए संपीड़न मदद नहीं करता
एक अलग आश्चर्य — प्रतिवर्ती BPE। यह वाहक (carrier) — अर्थात् टोकन का अनुक्रम — को काफी छोटा करने की अनुमति देता है, लेकिन पूर्वानुमानात्मक कोड लंबाई हर seed पर बढ़ती है। डेटा भंडारण के दृष्टिकोण से यह एक उत्कृष्ट कंप्रेसर है, लेकिन प्रशिक्षण के दृष्टिकोण से — एक खराब सहायक। इसका कारण यह है कि BPE दोहराए जाने वाले खंडों को समेटता है, लेकिन प्रासंगिक संबंधों को खो देता है: मॉडल लंबाई पर बचत करता है, लेकिन कृत्रिम संक्षिप्ताक्षरों को सीखने पर प्रयास खर्च करता है।
निष्कर्ष
GPT दृष्टिकोण प्रतीकात्मक संगीत पर शक्ति की कमी के कारण नहीं, बल्कि समन्वय प्रणाली के गलत चयन के कारण लड़खड़ाता है। संपीड़न तभी काम करता है जब टोकन इंटरफ़ेस डेटा की वास्तविक संरचना के अनुरूप हो: समय को समय होना चाहिए, स्वर-कुंजी को स्वर-कुंजी, और बाकी सब कुछ मॉडल के स्वयं के काम का विषय होना चाहिए। पूर्वानुमानात्मक कोड लंबाई का मानदंड उपयोगी टोकनाइज़ेशन को अलंकरण से अलग करने और यह समझने की अनुमति देता है कि तथ्य और गणना के बीच की सीमा वास्तव में कहाँ खींची जानी चाहिए।
