Repetições espaçadas com o método SuperMemo-2: como continuar treinando modelos de linguagem sem esquecer
Quando um grande modelo de linguagem é continuamente treinado com novos dados, ele corre o risco de perder conhecimentos já adquiridos. Esse fenômeno é familiar a qualquer pessoa que já tentou ajustar uma rede neural em uma área específica: após alguns passos de otimização, o modelo pode "esquecer" a erudição geral. A forma clássica de amenizar o problema é o replay, ou seja, misturar exemplos antigos no conjunto de treinamento. Mas normalmente esse replay é feito de forma muito grosseira: dados antigos e novos são simplesmente embaralhados em uma proporção fixa. Com isso, todos os exemplos antigos são considerados igualmente importantes, embora na prática alguns conhecimentos sejam perdidos rapidamente, enquanto outros persistem por muito tempo.
Os autores de um trabalho recente no arXiv (2608.17530) propõem repensar o pré-treinamento contínuo como uma tarefa de planejamento adaptativo de repetições. Em vez de decidir uma única vez quanta história misturar, o modelo deve escolher, a cada momento, quais exemplos específicos trazer de volta ao treinamento. Isso permite reagir às lacunas reais de memória, em vez de seguir um cronograma estático.
De flashcards a parâmetros de modelo
A ideia é emprestada da ciência cognitiva, mais precisamente do algoritmo SuperMemo-2 (SM-2), usado há décadas para planejar repetições espaçadas na memorização de flashcards. O SM-2 indica exatamente quando mostrar um cartão para que o conhecimento se consolide e não desapareça. No novo método, chamado Spaced Repetition Training (SRT), esse princípio é transferido para o treinamento de redes neurais.
O SRT mantém um estado de repetição próprio para cada exemplo de treinamento. Para entender o quão bem o modelo ainda lembra de um exemplo, usa-se a perplexidade — uma medida de quão confiantemente o modelo prevê os dados. Se a perplexidade aumenta drasticamente, significa que o exemplo está começando a ser esquecido, e ele recebe alta prioridade para ser incluído novamente no treinamento. Essa abordagem permite retornar automaticamente ao treinamento tanto exemplos "antigos", necessários para reter conhecimentos, quanto "novos", que ainda não foram consolidados.
É importante notar que o SRT não altera a arquitetura do modelo, a função de perda ou o otimizador. Todas as mudanças dizem respeito apenas à estratégia de amostragem de dados. Ou seja, o método pode ser aplicado sobre o processo de treinamento existente sem grandes reformulações no pipeline.
O que os experimentos mostraram
O método foi testado em corpora temporalmente divididos de Wikipedia e código — ou seja, em dados que naturalmente se dividem em períodos. Os resultados foram significativamente melhores do que os do ajuste ingênuo e do replay uniforme. O SRT recuperou de 5 a 37 pontos percentuais de precisão em conhecimentos antigos que o treinamento ingênuo havia apagado. Ao mesmo tempo, o desempenho em novos dados não piorou e, em vários casos, até aumentou.
Particularmente interessante é o comportamento em modelos grandes: lá, o SRT mantém um desempenho equilibrado em benchmarks amplos, enquanto o ajuste ingênuo e o replay comum levam a uma degradação significativa. Isso sugere que o planejamento de repetições se torna ainda mais importante à medida que a escala do modelo cresce, quando há mais dados e passos de treinamento.
Além da linguagem
Curiosamente, o princípio funciona não apenas com texto. Experimentos com dados visuais e tabulares mostraram que o planejamento de repetições é aplicável em qualquer lugar onde se possa medir um sinal de recall, ou seja, entender que o modelo está esquecendo um exemplo específico. Na prática, é um mecanismo universal para aprendizado contínuo, que não está vinculado a uma modalidade específica.
A principal conclusão do trabalho é que abandonar o replay médio em favor de um cronograma de repetições individual traz um ganho perceptível no equilíbrio stability-plasticity. O modelo continua aprendendo coisas novas, mas "revê o material" exatamente quando começa a esquecê-lo. Essa abordagem parece um passo natural em direção a um ajuste mais significativo de grandes modelos de linguagem.
