परिचय
गहन अधिगम में, मॉडल की जटिलता को विभिन्न तरीकों से नियंत्रित किया जा सकता है। उनमें से एक है वैरिएशनल नॉर्म: सभी परतों में भारों के मानकों का योग। यह फ़ंक्शन परिवार के "आयतन" को सीमित करता है और सामान्यीकरण अनुमान प्राप्त करने की अनुमति देता है। हालाँकि, यह प्रश्न खुला रहा कि ये अनुमान वास्तविक नेटवर्क जटिलता को कितनी सटीकता से दर्शाते हैं।
हाल के कार्य (arxiv:2608.17434) में दिखाया गया है कि वैरिएशनल नॉर्म वाले गहरे ReLU-नेटवर्क के लिए, स्थानीय एन्ट्रॉपी — गेंद में विभेदनीय फ़ंक्शनों की संख्या का लघुगणक — गहराई के साथ द्विघात रूप से बढ़ती है। इसका अर्थ है कि (L) पर जोखिम की द्विघात निर्भरता ऊपरी अनुमानों की कृत्रिमता नहीं है, बल्कि वर्ग का आंतरिक गुण है।
समस्या का निरूपण और आर्किटेक्चर
अज्ञात फ़ंक्शन के साथ गाऊसी प्रतिगमन पर विचार किया जाता है, जो Parhi–Nowak deep-RBV² (वेक्टर-मान संस्करण) आर्किटेक्चर द्वारा दिए गए वर्ग से है। पैरामीटर — गहराई (L) और चौड़ाई (w), कुल (O(L w^2)) पैरामीटर। परतों में योग के लिए वैरिएशन बजट (A), आउटपुट सीमा (B)। ऐसे मॉडल के लिए, मिनिमैक्स जोखिम की निचली और ऊपरी सीमाएँ पहले से ज्ञात थीं, लेकिन वे गहराई के एक गुणक से भिन्न थीं। नया परिणाम इस अंतर को बंद करता है: (L) पर द्विघात निर्भरता सटीक है।
मुख्य विचार एक स्थानीय पैकिंग का निर्माण करना है: फ़ंक्शनों का एक समूह जो जोड़ीवार एक-दूसरे से दूर हैं, लेकिन त्रिज्या (O(\lambda)L^2) की एक छोटी गेंद में स्थित हैं। ऐसी पैकिंग की शक्ति का लघुगणक (स्थानीय एन्ट्रॉपी) (\Omega(L^2 w^2 \log w)) है। इसका अर्थ है कि निश्चित नॉर्म पर, विभेदनीय फ़ंक्शनों की संख्या केवल (w^2) से नहीं, बल्कि (L^2 w^2 \log w) से घातांकीय रूप से बढ़ती है।
पैकिंग कैसे बनाई जाती है
ऐसे फ़ंक्शन प्राप्त करने के लिए, लेखक दो घटकों का उपयोग करते हैं:
- सन्निकटन प्रमेय विस्थापन के साथ: आवश्यक वर्ग के किसी भी फ़ंक्शन को सीमित गुणांक वाले नेटवर्क द्वारा अनुमानित किया जा सकता है।
- संतुलित प्रवर्धन: गहराई (D) के ReLU-नेटवर्क के आउटपुट को संख्या (q) से गुणा करना एक स्थिर चैनल के माध्यम से कार्यान्वित किया जाता है, जबकि प्रत्येक गुणांक केवल (q^{1/D}) के रूप में बढ़ता है। ऐसी तरकीब की लागत मानकों के योग के संदर्भ में (O(D w^2 q^{1/D})) है।
इन तकनीकों को मिलाकर, फ़ंक्शनों के एक समूह को वैरिएशनल नॉर्म की गेंद में "एम्बेड" करना संभव है, उनकी जोड़ीवार पृथकता को बनाए रखते हुए। यह एन्ट्रॉपी पर निचली सीमा देता है।
मिनिमैक्स जोखिम की निचली सीमा
स्थानीय पैकिंग होने पर, मानक तकनीक — फ़ानो लेम्मा का गाऊसी संस्करण — का उपयोग करके निचली सीमा प्राप्त की जाती है। गेंद की त्रिज्या स्पष्ट रूप से चुनी जाती है और नमूना आकार, आउटपुट पैमाने (B) और प्रतिनिधित्व बाधाओं पर निर्भर करती है। विशेष मामले में (A = B = R) और (\sigma \sim R) (स्थिरांकों की सटीकता के साथ), मिनिमैक्स जोखिम क्रम (L^2 w^2 \log(w) R^2 / n) से कम नहीं है।
परिमित नेटवर्क की स्यूडोडायमेंशन के माध्यम से प्राप्त ऊपरी सीमा, असीमित गाऊसी प्रतिक्रियाओं के लिए (\widetilde{O}(L^2 w^2 R^2 / n)) देती है। लघुगणकीय गुणकों की सटीकता के साथ निचली और ऊपरी सीमाओं का मेल दर्शाता है कि गहराई पर द्विघात निर्भरता सटीक है। त्रिज्या घटाने पर, एक ऐसे शासन में संक्रमण होता है जहाँ प्रतिनिधित्व बाधाएँ हावी होने लगती हैं।
व्यावहारिक निहितार्थ
व्यवहार में इसका क्या अर्थ है? यदि हम नेटवर्क को वैरिएशनल नॉर्म से नियमित करते हैं, तो गहराई बढ़ाने के लिए काफी अधिक डेटा या मजबूत नियमितीकरण की आवश्यकता होती है: वर्ग की जटिलता (L^2 w^2) के रूप में बढ़ती है। यह बताता है कि भारों पर निश्चित बजट के साथ बहुत गहरे नेटवर्क अतिअनुकूलन (overfitting) के प्रति क्यों प्रवृत्त होते हैं।
इसके अलावा, परिणाम दर्शाता है कि क्रॉस-नॉर्म के बजाय केवल बानाख नॉर्म का उपयोग करके सीमा को "दरकिनार" नहीं किया जा सकता — द्विघात निर्भरता ReLU-सक्रियण और वेक्टर-मान परतों की संरचना में अंतर्निहित है। यह नई आर्किटेक्चर और नियमितीकरण विधियों के विकास के लिए एक महत्वपूर्ण संदर्भ बिंदु है।
कुल मिलाकर, यह कार्य अनुमानों में अंतर के पुराने प्रश्न का सटीक उत्तर देता है और इस अंतर्ज्ञान की पुष्टि करता है कि गहराई केवल एक पैरामीटर नहीं है, बल्कि जटिलता का एक स्वतंत्र कारक है जो सभी सांख्यिकीय गारंटियों को प्रभावित करता है।
