Campo: content Idioma-alvo: Português (pt)
Problema: contexto longo esbarra na memória
Quanto mais texto é fornecido ao modelo na entrada, mais difícil é para ele processar cada novo prompt. A abordagem clássica de in-context learning exige que o modelo "releia" todo o contexto a cada solicitação. Isso significa que tanto o tempo de resposta quanto o consumo de memória da GPU crescem junto com o comprimento do texto de entrada. Na prática, isso já é perceptível com dezenas de milhares de tokens, e com 128K tokens os recursos são gastos de forma extremamente ineficiente.
Pior ainda, transformadores comuns têm uma janela de contexto nativa, além da qual a qualidade cai drasticamente. Mesmo que o modelo aceite formalmente uma entrada longa, ele começa a "esquecer" detalhes do meio do texto. Isso é especialmente visível em tarefas como needle-in-a-haystack, quando é preciso encontrar um fato importante em um grande volume de informação.
Ideia do MoNe: externalizar o contexto para uma memória separada
O método MoNe (Modular Neural Memory) propõe eliminar a dependência direta entre o comprimento do contexto e o custo da consulta. É uma memória neural modular leve que se conecta a um modelo transformador já pronto e congelado. Não é necessário re-treinar o modelo base — basta adicionar um módulo externo que assume o trabalho com o contexto.
O truque principal está em como a memória é estruturada. O MoNe processa o texto de entrada não por inteiro, mas em segmentos de tamanho fixo. Dentro do módulo, são usadas redes de pesos rápidos — elas são treinadas diretamente na fase de teste, atualizando seus parâmetros com gradientes locais no nível das camadas. Isso parece complexo, mas na prática significa: a memória se adapta ao texto específico sem interferir nos pesos do modelo principal.
Arquitetura em duas fases: pré-processamento separado, consulta separada
A inferência é dividida em duas etapas independentes. Na primeira etapa, é realizado o pré-processamento: o modelo lê o contexto em segmentos, forma chaves e valores a partir deles e os armazena na memória externa. Essa etapa é linear — o custo cresce proporcionalmente ao comprimento do texto, mas é uma operação única.
Na segunda etapa — quando a consulta chega — a memória não acessa mais o contexto original. Em vez disso, ela gera chaves e valores apenas a partir dos tokens da consulta. Os tokens de contexto não são relidos, o que significa que o tempo de resposta não depende do comprimento do texto original. Formalmente, isso é expresso como O(N) para pré-processamento e O(1) para consulta, onde N é o comprimento do contexto.
Graças a essa separação, o pico de uso de memória da GPU deixa de crescer com o aumento de N. Essa é uma vantagem importante: mesmo com um contexto muito longo, o modelo não tenta manter simultaneamente todos os tokens de entrada na memória.
O que isso traz na prática
Os autores testaram a abordagem no benchmark RULER, que inclui cenários de "agulha no palheiro" e extração de palavras específicas. É exatamente onde o in-context learning padrão degrada visivelmente com o aumento do comprimento do contexto. O MoNe, por outro lado, mostra resultados estáveis e generaliza para comprimentos que excedem significativamente a janela nativa do modelo base.
Vale destacar também a eficiência. Ao trabalhar com 128K tokens, o MoNe reduz os custos computacionais e o pico de memória da GPU em cerca de 80% em comparação com o ICL comum. Além disso, os parâmetros adicionais do módulo representam apenas 6.4% — ou seja, a sobrecarga de memória para armazenar o próprio modelo é mínima.
Conclusões
O MoNe é uma nova abordagem para o problema do contexto longo. Em vez de aumentar o poder computacional ou criar mecanismos de atenção complexos, os pesquisadores propõem externalizar o trabalho com o contexto para um módulo separado. Ele não exige re-treinar o transformador, adiciona poucos parâmetros, mas torna a resposta à consulta constante em tempo e impede que o pico de memória cresça junto com o texto.
Por enquanto, é um preprint no arXiv de um grupo internacional de pesquisadores. Mas a direção parece promissora: se o método for confirmado em uma gama mais ampla de tarefas, ele pode se tornar uma forma prática de transformar modelos congelados comuns em sistemas que lidam confortavelmente com documentos muito longos, sem grandes mudanças em sua arquitetura.
