Introduction
En apprentissage profond, la complexité d'un modèle peut être contrôlée de différentes manières. L'une d'elles est la norme variationnelle : la somme des normes des poids sur toutes les couches. Elle borne le « volume » de la famille de fonctions et permet d'obtenir des estimations de généralisation. Cependant, la question de savoir avec quelle précision ces estimations reflètent la complexité réelle du réseau restait ouverte.
Dans un travail récent (arxiv:2608.17434), il est montré que pour les réseaux ReLU profonds avec norme variationnelle, l'entropie locale — le logarithme du nombre de fonctions distinguables dans une boule — croît quadratiquement avec la profondeur. Cela signifie que la dépendance quadratique du risque en (L) n'est pas un artefact des bornes supérieures, mais une propriété intrinsèque de la classe.
Énoncé du problème et architecture
On considère une régression gaussienne avec une fonction inconnue issue de la classe définie par l'architecture Parhi–Nowak deep-RBV² (version vectorielle). Les paramètres sont la profondeur (L) et la largeur (w), avec un total de (O(L w^2)) paramètres. Le budget de variation de la somme par couches est (A), et la borne de sortie est (B). Pour ce modèle, des bornes inférieure et supérieure du risque minimax étaient déjà connues, mais elles différaient d'un facteur de profondeur. Le nouveau résultat comble cet écart : la dépendance quadratique en (L) est exacte.
L'idée clé est de construire un empaquetage local : un ensemble de fonctions deux à deux éloignées, mais situées dans une petite boule de rayon (O(\lambda)L^2). Le logarithme de la cardinalité d'un tel empaquetage (entropie locale) est (\Omega(L^2 w^2 \log w)). Cela signifie qu'à norme fixée, le nombre de fonctions distinguables croît exponentiellement en (L^2 w^2 \log w), et non simplement en (w^2).
Comment l'empaquetage est construit
Pour obtenir de telles fonctions, les auteurs utilisent deux ingrédients :
- Un théorème d'approximation avec décalage : toute fonction de la classe souhaitée peut être approchée par un réseau à coefficients bornés.
- Une amplification équilibrée : la multiplication de la sortie d'un réseau ReLU de profondeur (D) par un nombre (q) est réalisée à l'aide d'un seul canal constant, chaque coefficient ne croissant que comme (q^{1/D}). Le coût d'une telle astuce est de (O(D w^2 q^{1/D})) en termes de somme des normes.
En combinant ces techniques, on parvient à « plonger » un ensemble de fonctions dans la boule de norme variationnelle, tout en préservant leur séparation deux à deux. Cela donne la borne inférieure sur l'entropie.
Borne inférieure du risque minimax
Disposant de l'empaquetage local, on obtient la borne inférieure par une technique standard — la version gaussienne du lemme de Fano. Le rayon de la boule est alors choisi explicitement et dépend de la taille de l'échantillon, de l'échelle de sortie (B) et des contraintes de représentation. Dans le cas particulier (A = B = R) et (\sigma \sim R) (à constantes près), le risque minimax est au moins de l'ordre de (L^2 w^2 \log(w) R^2 / n).
La borne supérieure, obtenue via la pseudo-dimension du réseau fini, donne (\widetilde{O}(L^2 w^2 R^2 / n)) pour des réponses gaussiennes non bornées. La coïncidence des bornes inférieure et supérieure à des facteurs logarithmiques près montre que la dépendance quadratique en profondeur est exacte. Lorsque le rayon diminue, on passe à un régime où les contraintes de représentation commencent à dominer.
Implications pratiques
Qu'est-ce que cela signifie en pratique ? Si l'on régularise un réseau par la norme variationnelle, augmenter la profondeur exige un volume de données nettement plus important ou une régularisation plus forte : la complexité de la classe croît comme (L^2 w^2). Cela explique pourquoi les réseaux très profonds ont tendance à surapprendre avec un budget de poids fixé.
De plus, le résultat montre que l'on ne peut pas « contourner » la contrainte en utilisant simplement une norme de Banach plutôt qu'une norme croisée — la dépendance quadratique est inscrite dans la structure des activations ReLU et des couches vectorielles. C'est un repère important pour le développement de nouvelles architectures et de méthodes de régularisation.
Dans l'ensemble, ce travail apporte une réponse précise à une question ancienne sur l'écart dans les estimations et confirme l'intuition que la profondeur n'est pas simplement un paramètre, mais un facteur de complexité à part entière, influençant toutes les garanties statistiques.
