ভূমিকা
গভীর শিক্ষণে, মডেলের জটিলতা বিভিন্ন উপায়ে নিয়ন্ত্রণ করা যায়। এর মধ্যে একটি হলো ভ্যারিয়েশনাল নর্ম: সকল স্তরের ওজনের নর্মের যোগফল। এটি ফাংশন পরিবারের 'আয়তন' সীমাবদ্ধ করে এবং সাধারণীকরণের অনুমান পেতে সাহায্য করে। তবে, এই অনুমানগুলো নেটওয়ার্কের প্রকৃত জটিলতাকে কতটা নির্ভুলভাবে প্রতিফলিত করে, সেই প্রশ্নটি এখনও অমীমাংসিত ছিল।
সাম্প্রতিক একটি কাজে (arxiv:2608.17434) দেখানো হয়েছে যে, ভ্যারিয়েশনাল নর্ম সহ গভীর ReLU-নেটওয়ার্কগুলির জন্য, স্থানীয় এনট্রপি — বলের মধ্যে পৃথকযোগ্য ফাংশনের সংখ্যার লগারিদম — গভীরতার সাথে দ্বিঘাতভাবে বৃদ্ধি পায়। এর অর্থ হল, (L) এর উপর ঝুঁকির দ্বিঘাত নির্ভরতা উপরের সীমার একটি কৃত্রিম ফল নয়, বরং শ্রেণীর একটি অভ্যন্তরীণ বৈশিষ্ট্য।
সমস্যার বিবৃতি এবং আর্কিটেকচার
এখানে Parhi–Nowak deep-RBV² (ভেক্টর-মান সংস্করণ) আর্কিটেকচার দ্বারা নির্ধারিত একটি শ্রেণী থেকে অজানা ফাংশন সহ গাউসীয় রিগ্রেশন বিবেচনা করা হয়েছে। প্যারামিটারগুলি হলো — গভীরতা (L) এবং প্রস্থ (w), মোট (O(L w^2)) প্যারামিটার। স্তরগুলির যোগফলের উপর ভ্যারিয়েশন বাজেট (A), এবং আউটপুট সীমা (B)। এই মডেলের জন্য মিনিম্যাক্স ঝুঁকির নিম্ন এবং উপরের সীমা ইতিমধ্যেই জানা ছিল, কিন্তু তারা গভীরতার একটি গুণক দ্বারা পৃথক ছিল। নতুন ফলাফল এই ফাঁকটি বন্ধ করে: (L) এর উপর দ্বিঘাত নির্ভরতা সঠিক।
মূল ধারণা হলো একটি স্থানীয় প্যাকিং তৈরি করা: ফাংশনের একটি সেট যা জোড়ায় জোড়ায় দূরে, কিন্তু (O(\lambda)L^2) ব্যাসার্ধের একটি ছোট বলের মধ্যে অবস্থিত। এই ধরনের প্যাকিংয়ের শক্তির লগারিদম (স্থানীয় এনট্রপি) হলো (\Omega(L^2 w^2 \log w))। এর অর্থ হল, একটি নির্দিষ্ট নর্মে, পৃথকযোগ্য ফাংশনের সংখ্যা (w^2) থেকে নয়, বরং (L^2 w^2 \log w) থেকে সূচকীয়ভাবে বৃদ্ধি পায়।
প্যাকিং কীভাবে তৈরি করা হয়
এই ধরনের ফাংশন পেতে, লেখকরা দুটি উপাদান ব্যবহার করেন:
- বায়াস সহ অ্যাপ্রোক্সিমেশন উপপাদ্য: প্রয়োজনীয় শ্রেণীর যেকোনো ফাংশনকে সীমিত সহগ সহ একটি নেটওয়ার্ক দিয়ে আনুমানিক করা যেতে পারে।
- সুষম পরিবর্ধন: গভীরতা (D) এর একটি ReLU-নেটওয়ার্কের আউটপুটকে একটি সংখ্যা (q) দিয়ে গুণ করা একটি ধ্রুবক চ্যানেলের মাধ্যমে বাস্তবায়িত হয়, যেখানে প্রতিটি সহগ কেবল (q^{1/D}) হিসাবে বৃদ্ধি পায়। এই কৌশলের খরচ নর্মের যোগফলের পরিপ্রেক্ষিতে (O(D w^2 q^{1/D}))।
এই কৌশলগুলিকে একত্রিত করে, ফাংশনগুলির একটি সেটকে ভ্যারিয়েশনাল নর্মের একটি বলের মধ্যে 'এমবেড' করা সম্ভব হয়, তাদের জোড়ায় জোড়ায় বিভাজন বজায় রেখে। এটি এনট্রপির উপর নিম্ন সীমা প্রদান করে।
মিনিম্যাক্স ঝুঁকির নিম্ন সীমা
স্থানীয় প্যাকিং থাকলে, একটি আদর্শ কৌশল — ফ্যানোর গাউসীয় সংস্করণ — ব্যবহার করে নিম্ন সীমা পাওয়া যায়। বলের ব্যাসার্ধটি তখন স্পষ্টভাবে নির্বাচন করা হয় এবং এটি নমুনার আকার, আউটপুট স্কেল (B) এবং উপস্থাপনাগত সীমাবদ্ধতার উপর নির্ভর করে। বিশেষ ক্ষেত্রে (A = B = R) এবং (\sigma \sim R) (ধ্রুবক পর্যন্ত নির্ভুল), মিনিম্যাক্স ঝুঁকি (L^2 w^2 \log(w) R^2 / n) ক্রমের চেয়ে কম নয়।
সসীম নেটওয়ার্কের সিউডো-ডাইমেনশনের মাধ্যমে প্রাপ্ত উপরের সীমা, সীমাহীন গাউসীয় প্রতিক্রিয়াগুলির জন্য (\widetilde{O}(L^2 w^2 R^2 / n)) দেয়। লগারিদমিক গুণক পর্যন্ত নিম্ন এবং উপরের সীমার মিল দেখায় যে গভীরতার উপর দ্বিঘাত নির্ভরতা সঠিক। ব্যাসার্ধ হ্রাস করার সাথে সাথে, এমন একটি শাসনে রূপান্তর ঘটে যেখানে উপস্থাপনার সীমাবদ্ধতাগুলি প্রাধান্য পেতে শুরু করে।
ব্যবহারিক প্রভাব
অনুশীলনে এর অর্থ কী? যদি আমরা ভ্যারিয়েশনাল নর্ম দিয়ে নেটওয়ার্কটি নিয়মিত করি, তাহলে গভীরতা বৃদ্ধির জন্য উল্লেখযোগ্যভাবে বেশি ডেটা বা শক্তিশালী নিয়মিতকরণের প্রয়োজন হয়: শ্রেণীর জটিলতা (L^2 w^2) হিসাবে বৃদ্ধি পায়। এটি ব্যাখ্যা করে যে কেন খুব গভীর নেটওয়ার্কগুলি ওজনের উপর একটি নির্দিষ্ট বাজেটে ওভারফিটিং প্রবণ হয়।
অধিকন্তু, ফলাফলটি দেখায় যে, ক্রস-নর্মের পরিবর্তে কেবল একটি ব্যানাচ নর্ম ব্যবহার করে সীমাবদ্ধতাকে 'বাইপাস' করা যায় না — দ্বিঘাত নির্ভরতা ReLU-অ্যাক্টিভেশন এবং ভেক্টর-মান স্তরগুলির কাঠামোতে অন্তর্নিহিত। এটি নতুন আর্কিটেকচার এবং নিয়মিতকরণ পদ্ধতি বিকাশের জন্য একটি গুরুত্বপূর্ণ নির্দেশিকা।
সামগ্রিকভাবে, কাজটি অনুমানের ফাঁক সম্পর্কে দীর্ঘদিনের প্রশ্নের একটি সঠিক উত্তর দেয় এবং এই অন্তর্দৃষ্টি নিশ্চিত করে যে গভীরতা কেবল একটি প্যারামিটার নয়, বরং জটিলতার একটি স্বাধীন কারণ যা সমস্ত পরিসংখ্যানগত গ্যারান্টিকে প্রভাবিত করে।
