Problema: el contexto largo choca con la memoria
Cuanto más texto se le proporciona al modelo como entrada, más difícil le resulta procesar cada nueva instrucción. El enfoque clásico de in-context learning exige que el modelo «relea» todo el contexto en cada consulta. Esto significa que tanto el tiempo de respuesta como el consumo de memoria de GPU crecen junto con la longitud del texto de entrada. En la práctica, esto se nota ya con decenas de miles de tokens, y con 128K tokens los recursos se gastan de forma extremadamente ineficiente.
Peor aún, los transformadores convencionales tienen una ventana de contexto nativa, más allá de la cual la calidad cae drásticamente. Incluso si el modelo acepta formalmente una entrada larga, empieza a «olvidar» detalles del medio del texto. Esto se ve especialmente claro en tareas como needle-in-a-haystack, donde hay que encontrar un dato importante en un gran volumen de información.
La idea de MoNe: sacar el contexto a una memoria separada
El método MoNe (Modular Neural Memory) propone eliminar la dependencia directa entre la longitud del contexto y el coste de la consulta. Se trata de una memoria neuronal modular ligera que se conecta a un modelo transformador ya existente y congelado. No es necesario reentrenar el modelo base: basta con añadir un módulo externo que se encargue del trabajo con el contexto.
El truco clave está en cómo está organizada la memoria. MoNe no procesa el texto de entrada completo, sino en segmentos de tamaño fijo. Dentro del módulo se utilizan redes de pesos rápidos, que se entrenan directamente en la fase de prueba, actualizando sus parámetros con gradientes locales a nivel de capas. Esto suena complejo, pero en esencia significa: la memoria se adapta al texto concreto sin tocar los pesos del modelo principal.
Arquitectura de dos fases: preprocesamiento por un lado, consulta por otro
La inferencia se divide en dos etapas independientes. En la primera etapa se realiza el preprocesamiento: el modelo lee el contexto por segmentos, genera claves y valores a partir de ellos y los guarda en la memoria externa. Esta etapa es lineal: el coste crece proporcionalmente a la longitud del texto, pero es una operación única.
En la segunda etapa, cuando llega la consulta, la memoria ya no accede al contexto original. En su lugar, genera claves y valores solo a partir de los tokens de la consulta. Los tokens de contexto no se vuelven a leer, por lo que el tiempo de respuesta no depende en absoluto de la longitud del texto original. Formalmente, esto se expresa como O(N) para el preprocesamiento y O(1) para la consulta, donde N es la longitud del contexto.
Gracias a esta separación, el uso máximo de memoria de GPU deja de crecer con N. Esta es una ventaja importante: incluso con un contexto muy largo, el modelo no intenta mantener simultáneamente en memoria todos los tokens de entrada.
Qué supone esto en la práctica
Los autores probaron el enfoque en el benchmark RULER, que incluye escenarios de «aguja en el pajar» y extracción de palabras concretas. Ahí es precisamente donde el in-context learning estándar se degrada notablemente al aumentar la longitud del contexto. MoNe, por el contrario, muestra resultados estables y generaliza a longitudes que superan con creces la ventana nativa del modelo base.
También cabe destacar la eficiencia. Al trabajar con 128K tokens, MoNe reduce los costes computacionales y la memoria máxima de GPU en aproximadamente un 80% en comparación con el ICL convencional. Además, los parámetros adicionales del módulo suponen solo un 6.4%, es decir, la sobrecarga de memoria para almacenar el propio modelo es mínima.
Conclusiones
MoNe es una nueva perspectiva sobre el problema del contexto largo. En lugar de aumentar la potencia computacional o idear mecanismos de atención complejos, los investigadores proponen sacar el trabajo con el contexto a un módulo separado. No requiere reentrenar el transformador, añade pocos parámetros, pero hace que la respuesta a la consulta sea constante en tiempo y evita que la memoria máxima crezca con el texto.
Por ahora es un preprint en arXiv de un grupo internacional de investigadores. Pero la dirección parece prometedora: si el método se confirma en un espectro más amplio de tareas, podría convertirse en una forma práctica de transformar modelos congelados comunes en sistemas que trabajen cómodamente con documentos muy largos sin cambios serios en su arquitectura.
