Pendahuluan
Dalam pembelajaran mendalam, kompleksitas model dapat dikendalikan dengan berbagai cara. Salah satunya adalah norma variasional: jumlah norma bobot di semua lapisan. Norma ini membatasi "volume" keluarga fungsi dan memungkinkan diperolehnya estimasi generalisasi. Namun, hingga saat ini masih menjadi pertanyaan terbuka seberapa akurat estimasi tersebut mencerminkan kompleksitas jaringan yang sebenarnya.
Dalam penelitian terbaru (arxiv:2608.17434) ditunjukkan bahwa untuk jaringan ReLU dalam dengan norma variasional, entropi lokal — logaritma jumlah fungsi yang dapat dibedakan dalam bola — tumbuh secara kuadratik terhadap kedalaman. Ini berarti bahwa ketergantungan kuadratik dari risiko terhadap (L) bukanlah artefak dari batas atas, melainkan sifat internal dari kelas tersebut.
Perumusan Masalah dan Arsitektur
Dipertimbangkan regresi Gaussian dengan fungsi yang tidak diketahui dari kelas yang ditentukan oleh arsitektur Parhi–Nowak deep-RBV² (versi bernilai vektor). Parameternya adalah kedalaman (L) dan lebar (w), dengan total (O(L w^2)) parameter. Anggaran variasi jumlah antar lapisan adalah (A), dan batas keluaran adalah (B). Untuk model ini, batas bawah dan atas dari risiko minimaks sudah diketahui sebelumnya, tetapi keduanya berbeda dengan faktor kedalaman. Hasil baru ini menutup celah tersebut: ketergantungan kuadratik terhadap (L) adalah tepat.
Ide kuncinya adalah membangun pengepakan lokal: sekumpulan fungsi yang saling berjauhan secara berpasangan, tetapi berada dalam bola kecil berjari-jari (O(\lambda)L^2). Logaritma kardinalitas pengepakan semacam itu (entropi lokal) adalah (\Omega(L^2 w^2 \log w)). Ini berarti bahwa untuk norma tetap, jumlah fungsi yang dapat dibedakan tumbuh secara eksponensial terhadap (L^2 w^2 \log w), bukan hanya terhadap (w^2).
Bagaimana pengepakan dibangun
Untuk mendapatkan fungsi-fungsi tersebut, penulis menggunakan dua bahan:
- Teorema aproksimasi dengan bias: fungsi apa pun dari kelas yang diinginkan dapat didekati dengan jaringan yang memiliki koefisien terbatas.
- Penguatan seimbang: perkalian keluaran jaringan ReLU kedalaman (D) dengan bilangan (q) direalisasikan menggunakan satu saluran konstan, dengan setiap koefisien hanya tumbuh sebesar (q^{1/D}). Biaya trik semacam itu adalah (O(D w^2 q^{1/D})) dalam hal jumlah norma.
Dengan menggabungkan teknik-teknik ini, dimungkinkan untuk "menanamkan" sekumpulan fungsi ke dalam bola norma variasional sambil mempertahankan keterpisahan berpasangannya. Inilah yang memberikan batas bawah pada entropi.
Batas Bawah Risiko Minimaks
Dengan adanya pengepakan lokal, batas bawah diperoleh melalui teknik standar — varian Gaussian dari lemma Fano. Jari-jari bola dipilih secara eksplisit dan bergantung pada ukuran sampel, skala keluaran (B), dan batasan representasi. Dalam kasus khusus (A = B = R) dan (\sigma \sim R) (hingga konstanta), risiko minimaks terbukti tidak kurang dari orde (L^2 w^2 \log(w) R^2 / n).
Batas atas, yang diperoleh melalui pseudodimensi jaringan hingga, memberikan (\widetilde{O}(L^2 w^2 R^2 / n)) untuk respons Gaussian tak terbatas. Kesesuaian batas bawah dan batas atas hingga faktor logaritmik menunjukkan bahwa ketergantungan kuadratik terhadap kedalaman adalah tepat. Saat jari-jari diperkecil, terjadi transisi ke rezim di mana batasan representasi mulai mendominasi.
Implikasi Praktis
Apa artinya ini dalam praktik? Jika kita meregularisasi jaringan dengan norma variasional, maka peningkatan kedalaman membutuhkan volume data yang jauh lebih besar atau regularisasi yang lebih kuat: kompleksitas kelas tumbuh sebagai (L^2 w^2). Ini menjelaskan mengapa jaringan yang sangat dalam cenderung mengalami overfitting dengan anggaran bobot yang tetap.
Selain itu, hasil ini menunjukkan bahwa batasan tersebut tidak dapat "dihindari" hanya dengan menggunakan norma Banach sebagai pengganti norma silang — ketergantungan kuadratik sudah tertanam dalam struktur aktivasi ReLU dan lapisan bernilai vektor. Ini adalah titik acuan penting untuk pengembangan arsitektur dan metode regularisasi baru.
Secara keseluruhan, karya ini memberikan jawaban pasti atas pertanyaan lama tentang celah dalam estimasi dan mengonfirmasi intuisi bahwa kedalaman bukan sekadar parameter, melainkan faktor kompleksitas yang berdiri sendiri yang memengaruhi semua jaminan statistik.
