مقدمة
في التعلم العميق، يمكن التحكم في تعقيد النموذج بطرق مختلفة. إحداها هي القاعدة التغيّرية: مجموع قواعد الأوزان عبر جميع الطبقات. وهي تقيّد «حجم» عائلة الدوال وتتيح الحصول على تقديرات للتعميم. ومع ذلك، ظل السؤال مفتوحًا حتى الآن حول مدى دقة هذه التقديرات في عكس التعقيد الحقيقي للشبكة.
في عمل حديث (arxiv:2608.17434) تبيّن أنه بالنسبة لشبكات ReLU العميقة ذات القاعدة التغيّرية، فإن الإنتروبيا المحلية — لوغاريتم عدد الدوال القابلة للتمييز داخل كرة — تنمو تربيعيًا مع العمق. وهذا يعني أن الاعتماد التربيعي للمخاطرة على (L) ليس مجرد قطعة أثرية للتقديرات العليا، بل هو خاصية جوهرية للفئة.
صياغة المسألة والبنية المعمارية
يتم النظر في انحدار غاوسي مع دالة غير معروفة من الفئة المحددة ببنية Parhi–Nowak العميقة RBV² (النسخة متجهة القيم). المعاملات هي العمق (L) والعرض (w)، بإجمالي (O(L w^2)) معاملًا. ميزانية التغيّر لمجموع القواعد عبر الطبقات (A)، وحد المخرجات (B). لهذا النموذج كانت معروفة سابقًا الحدود الدنيا والعليا للمخاطرة الأدنى-الأقصى، لكنها كانت تختلف بعامل العمق. النتيجة الجديدة تسد هذه الفجوة: الاعتماد التربيعي على (L) دقيق.
الفكرة الأساسية هي بناء تغطية محلية: مجموعة من الدوال المتباعدة زوجيًا عن بعضها البعض، ولكنها تقع في كرة صغيرة نصف قطرها (O(\lambda)L^2). لوغاريتم قوة هذه التغطية (الإنتروبيا المحلية) يساوي (\Omega(L^2 w^2 \log w)). وهذا يعني أنه عند قاعدة ثابتة، ينمو عدد الدوال القابلة للتمييز أسيًا مع (L^2 w^2 \log w)، وليس فقط مع (w^2).
كيف تُبنى التغطية
للحصول على هذه الدوال، يستخدم المؤلفون مكوّنين:
- مبرهنة التقريب مع الإزاحة: أي دالة من الفئة المطلوبة يمكن تقريبها بشبكة ذات معاملات محدودة.
- التعزيز المتوازن: ضرب مخرج شبكة ReLU بعمق (D) في العدد (q) يتحقق باستخدام قناة ثابتة واحدة، حيث ينمو كل معامل فقط بمقدار (q^{1/D}). تكلفة هذه الحيلة هي (O(D w^2 q^{1/D})) من حيث مجموع القواعد.
من خلال الجمع بين هاتين التقنيتين، يمكن «تضمين» مجموعة من الدوال في كرة القاعدة التغيّرية مع الحفاظ على تباعدها الزوجي. وهذا يعطي التقدير الأدنى للإنتروبيا.
الحد الأدنى للمخاطرة الأدنى-الأقصى
بوجود التغطية المحلية، يتم الحصول على الحد الأدنى بالتقنية القياسية — النسخة الغاوسية من ليمّة فانو. يتم اختيار نصف قطر الكرة هنا بشكل صريح ويعتمد على حجم العينة، ومقياس المخرجات (B)، والقيود التمثيلية. في الحالة الخاصة (A = B = R) و(\sigma \sim R) (بدقة حتى الثوابت)، تكون المخاطرة الأدنى-الأقصى على الأقل من الرتبة (L^2 w^2 \log(w) R^2 / n).
الحد الأعلى، الذي تم الحصول عليه عبر البعد الزائف للشبكة المحدودة، يعطي (\widetilde{O}(L^2 w^2 R^2 / n)) للاستجابات الغاوسية غير المحدودة. تطابق الحدين الأدنى والأعلى بدقة حتى العوامل اللوغاريتمية يُظهر أن الاعتماد التربيعي على العمق دقيق. عند تقليل نصف القطر، يحدث انتقال إلى نظام تبدأ فيه قيود التمثيل بالهيمنة.
الآثار العملية
ماذا يعني هذا عمليًا؟ إذا قمنا بتنظيم الشبكة بالقاعدة التغيّرية، فإن زيادة العمق تتطلب حجم بيانات أكبر بشكل ملحوظ أو تنظيمًا أقوى: تعقيد الفئة ينمو بمقدار (L^2 w^2). وهذا يفسر لماذا تميل الشبكات العميقة جدًا إلى الإفراط في التجهيز عند ميزانية ثابتة للأوزان.
بالإضافة إلى ذلك، تُظهر النتيجة أنه لا يمكن «التفاف» على القيد بمجرد استخدام قاعدة باناخ بدلاً من القاعدة المتقاطعة — فالاعتماد التربيعي مدمج في بنية تنشيطات ReLU والطبقات متجهة القيم. وهذا معلم مهم لتطوير بنى معمارية جديدة وطرق تنظيم جديدة.
بشكل عام، يقدم العمل إجابة دقيقة على السؤال القديم حول الفجوة في التقديرات ويؤكد الحدس بأن العمق ليس مجرد معامل، بل عامل استقلالي للتعقيد يؤثر على جميع الضمانات الإحصائية.
