Introducción
En el aprendizaje profundo, la complejidad de un modelo se puede controlar de diferentes maneras. Una de ellas es la norma variacional: la suma de las normas de los pesos en todas las capas. Esta restringe el «volumen» de la familia de funciones y permite obtener estimaciones de generalización. Sin embargo, hasta ahora seguía abierta la cuestión de con qué precisión reflejan estas estimaciones la complejidad real de la red.
En un trabajo reciente (arxiv:2608.17434) se demuestra que, para redes ReLU profundas con norma variacional, la entropía local —el logaritmo del número de funciones distinguibles en una bola— crece cuadráticamente con la profundidad. Esto implica que la dependencia cuadrática del riesgo respecto a (L) no es un artefacto de las cotas superiores, sino una propiedad interna de la clase.
Planteamiento del problema y arquitectura
Se considera la regresión gaussiana con una función desconocida de la clase definida por la arquitectura Parhi–Nowak deep-RBV² (versión con valores vectoriales). Los parámetros son la profundidad (L) y la anchura (w), con un total de (O(L w^2)) parámetros. El presupuesto de variación de la suma por capas es (A), y el límite de salida es (B). Para este modelo ya se conocían cotas inferior y superior del riesgo minimax, pero diferían en un factor de profundidad. El nuevo resultado cierra esta brecha: la dependencia cuadrática de (L) es exacta.
La idea clave es construir un empaquetamiento local: un conjunto de funciones que son pairwise distantes entre sí, pero que se encuentran en una bola pequeña de radio (O(\lambda)L^2). El logaritmo de la cardinalidad de dicho empaquetamiento (entropía local) es (\Omega(L^2 w^2 \log w)). Esto significa que, con norma fija, el número de funciones distinguibles crece exponencialmente con (L^2 w^2 \log w), y no simplemente con (w^2).
Cómo se construye el empaquetamiento
Para obtener estas funciones, los autores utilizan dos ingredientes:
- Teorema de aproximación con sesgo: cualquier función de la clase deseada puede aproximarse con una red de coeficientes acotados.
- Amplificación equilibrada: multiplicar la salida de una red ReLU de profundidad (D) por el número (q) se implementa mediante un único canal constante, mientras que cada coeficiente crece solo como (q^{1/D}). El coste de este truco es (O(D w^2 q^{1/D})) en términos de la suma de normas.
Combinando estas técnicas, se consigue «incrustar» un conjunto de funciones en la bola de la norma variacional, preservando su separación pairwise. Esto proporciona la cota inferior de la entropía.
Cota inferior del riesgo minimax
Con el empaquetamiento local, mediante el procedimiento estándar —la versión gaussiana del lema de Fano— se obtiene la cota inferior. El radio de la bola se elige explícitamente y depende del tamaño de la muestra, de la escala de salida (B) y de las restricciones de representación. En el caso particular (A = B = R) y (\sigma \sim R) (salvo constantes), el riesgo minimax resulta ser al menos del orden de (L^2 w^2 \log(w) R^2 / n).
La cota superior, obtenida mediante la pseudodimensión de la red finita, da (\widetilde{O}(L^2 w^2 R^2 / n)) para respuestas gaussianas no acotadas. La coincidencia de las cotas inferior y superior salvo factores logarítmicos muestra que la dependencia cuadrática de la profundidad es exacta. Al reducir el radio se produce una transición a un régimen en el que las restricciones de representación comienzan a dominar.
Implicaciones prácticas
¿Qué significa esto en la práctica? Si regularizamos la red con la norma variacional, aumentar la profundidad requiere un volumen de datos sustancialmente mayor o una regularización más fuerte: la complejidad de la clase crece como (L^2 w^2). Esto explica por qué las redes muy profundas tienden a sobreajustarse con un presupuesto fijo de pesos.
Además, el resultado muestra que no se puede «evitar» la restricción utilizando simplemente una norma de Banach en lugar de una norma cruzada: la dependencia cuadrática está inherente en la estructura de las activaciones ReLU y de las capas con valores vectoriales. Es una referencia importante para el desarrollo de nuevas arquitecturas y métodos de regularización.
En conjunto, el trabajo ofrece una respuesta exacta a la antigua cuestión de la brecha en las estimaciones y confirma la intuición de que la profundidad no es solo un parámetro, sino un factor independiente de complejidad que afecta a todas las garantías estadísticas.
