Por qué un resumen por bloques puede no ser suficiente
Block-level residual routing hace práctica la agregación entrenable de conexiones residuales: el router se basa en resúmenes de bloques. Cada resumen comprime una secuencia ordenada de actualizaciones de atención y MLP en un único vector acumulativo.
- El resumen conserva la contribución total del bloque.
- No describe la trayectoria de las actualizaciones dentro del bloque.
Criterio práctico: si importa una señal aproximada del movimiento del flujo residual dentro del bloque, un único resumen acumulativo puede no ser suficiente.
Cómo añade HAARES una señal intrabloque
HAARES es un router de bases residuales propuesto en el trabajo de Kehan Wang, arXiv:2606.06564. Conserva la fuente acumulativa del bloque y añade una base de detalles con división por mitades.
- La base de detalles se calcula como la diferencia entre las actualizaciones del flujo residual en la primera y la segunda mitad del bloque.
- La base se normaliza por RMS y se actualiza en línea.
- El router obtiene información aproximada sobre la trayectoria intrabloque sin recurrir al enrutamiento denso a nivel de subcapas.
Criterio práctico: HAARES combina una fuente acumulativa con una señal de detalles adicional, en lugar de enrutar cada subcapa por separado.
Dónde se observó el efecto en los experimentos
Los experimentos abarcaron OpenWebText, benchmarks de caracteres entre dominios y OpenWebText con tokenización BPE. El resultado dependió de la profundidad del modelo.
| Condición | Observación |
|---|---|
| Poca profundidad | La mejora es pequeña o ambigua |
| Modelos de 48 capas | El efecto es más estable |
| Configuración de 201M con 48 capas | HAARES supera a Block AttnRes en las tres semillas |
| Prueba de 453M con dos semillas | El resultado apunta en la misma dirección |
Las ablaciones muestran que el efecto no se explica por la duplicación de fuentes, los detalles de signo aleatorio ni los desplazamientos fijos de las fuentes de detalles. Tampoco puede explicarse únicamente por un cambio en el número de bloques.
Criterio práctico: los resultados ofrecen argumentos más sólidos a favor del método para modelos de 48 capas que para modelos de poca profundidad.
Qué costes tener en cuenta
El análisis de costes señala que los FLOPs adicionales son bajos, pero que el coste en tiempo no es nulo. El método añade costes de memoria y enrutamiento.
- El coste aritmético relativo se amortiza a medida que aumenta la anchura del modelo.
- Una convergencia más temprana puede reducir el tiempo necesario para alcanzar el resultado objetivo.
Criterio práctico: conviene evaluar HAARES teniendo en cuenta no solo los FLOPs, sino también la memoria, el enrutamiento y el tiempo de convergencia.
