Quando o «esquecido» retorna
O mecanismo de desaprendizagem de grandes modelos de linguagem geralmente parece impressionante: após o procedimento de remoção de informações indesejadas, o modelo deixa de gerar textos sobre o tópico proibido. Mas essa limpeza raramente é robusta. Se, depois dela, for feita uma afinação comum em um pequeno fragmento exatamente desses dados, o conhecimento retorna quase sem esforço. Experimentos com o conjunto de dados TOFU mostram que o ajuste fino com apenas vinte exemplos esquecidos é capaz de restaurar significativamente as métricas no conjunto-alvo para todos os métodos de desaprendizagem conhecidos. A questão aqui não é a qualidade de uma técnica específica, mas as propriedades do processo de otimização: após o procedimento de esquecimento, cria-se uma geometria de perdas particular, através da qual o re-treinamento facilmente abre caminho de volta.
O precipício de margem: um cenário único para o retorno do conhecimento
Os pesquisadores analisaram o comportamento de quatorze métodos de desaprendizagem post-hoc — gradientes, baseados em preferências e em destilação — e encontraram um padrão curioso. Para cada método e tamanho de modelo, é possível medir a margem de resposta no nível de tokens individuais, ou seja, a folga com que o modelo prefere um token a outro. Descobriu-se que, após a desaprendizagem, essa margem quase sempre converge para uma faixa estreita, localizada ligeiramente acima do nível definido pelo conjunto de dados retido (retain). O fenômeno apareceu em 41 das 42 combinações possíveis de método-tamanho de modelo, recebendo o nome de «precipício de margem» — por analogia com um precipício geológico, atrás do qual não há nada.
Por que o precipício surge
Matematicamente, foi possível demonstrar que o precipício aparece quando as conexões com o conjunto retain mantêm os logits diagnósticos do conteúdo esquecido acima de um certo limiar. Isso é suficiente para que a otimização pare: a função de perda original dos métodos de saturação de tokens atinge um ponto estacionário, embora o esquecimento ainda não esteja garantido. A verificação em 34 das 42 células do experimento confirmou que é precisamente a saturação da perda que cria o tal «falso sucesso», que torna o retorno do conhecimento trivial.
Margin Calibration: como corrigir o precipício
Os autores do trabalho propõem um plugin de polimento chamado Margin Calibration (MC). Não é um método de desaprendizagem independente, mas um módulo adicional que é aplicado sobre qualquer abordagem existente. Em vez de depender de uma perda saturante, o MC adiciona um hinge de margem não saturante: ele compara a margem por token de um token específico com a margem de uma resposta de referência obtida nos dados retain. Adicionalmente, é aplicada uma sonda KL em um corpus de instruções não relacionado à distribuição de treinamento original. Graças a essa pressão híbrida, é possível restaurar a força do sinal no lado do esquecimento exatamente nos pontos onde a perda original «ficou presa» em um ponto estacionário.
A parte teórica adiciona confiança: se os gradientes de diferentes componentes estiverem alinhados por dominância, o conjunto estacionário do MC está no lado da interseção com o precipício. Isso permite estimar um limite superior para o orçamento de um ataque de elevação de margem: se um atacante tentar repetir o treinamento, ele terá que enfrentar uma resistência séria, em vez de deslizar por uma encosta polida.
Resultados: vitória sobre ataques e o preço a pagar
A eficácia do MC foi testada em três benchmarks: TOFU com três tamanhos de modelos Llama-3 e três níveis de esquecimento, MUSE-News no Llama-2-7B-hf e um painel separado do Phi-3.5. Sem alterar a configuração para cada caso específico, o plugin de polimento venceu todas as 14 comparações pareadas de agregados de esquecimento e preencheu todas as células disponíveis no teste de re-treinamento. Os números falam por si: a métrica média ROUGE-L no painel após o ataque caiu de 0,41 para 0,18 — ou seja, o modelo quase parou de reproduzir os textos esquecidos, mesmo quando tentavam «re-treiná-lo». Além disso, o MC reduziu a AUC bruta de associação (métrica para determinar se os dados faziam parte do conjunto de treinamento) em 13 dos 14 casos.
No entanto, há também um lado negativo. Em todos os experimentos, foi observada uma redução na utilidade do modelo no lado retain: o plugin torna a desaprendizagem mais profunda, mas o modelo passa a lidar pior com tarefas relacionadas ao conhecimento retido. Esse trade-off precisa ser considerado no cenário de aplicação: para tarefas em que o desempenho nos dados retain é crítico, será necessário ajustar limiares ou usar uma regularização mais leve.
Versão de produção sem referência retain
O esquema MC descrito acima depende de margens de referência obtidas a partir de uma resposta «padrão» treinada nos dados retain. Mas, na prática, muitas vezes não há acesso à distribuição original de treinamento. Para esses casos, há uma variante separada de implantação: ela permite alcançar as mesmas melhorias sem usar a referência treinada no retain, substituindo-a por limiares definidos a priori ou margens de controle de um corpus geral de instruções. Isso torna o método aplicável em produtos reais, onde os dados para desaprendizagem já foram removidos do sistema e a recuperação da referência é impossível ou proibida pela política de privacidade.
Conclusões
A principal conclusão prática do estudo é que a desaprendizagem de modelos de linguagem não pode ser considerada confiável enquanto a geometria de otimização não for levada em conta. O «precipício de margem» explica por que muitos métodos bonitos no papel não resistem nem a ataques fracos de re-treinamento e aponta uma direção para trabalhos futuros. O Margin Calibration é um dos primeiros plugins que combate esse fenômeno de forma direcionada e, embora ainda não resolva o problema sem efeitos colaterais, ele estabelece o enquadramento correto: em vez de «esqueceu uma vez — esqueceu para sempre», é preciso pensar em criar uma paisagem de perdas em que o retorno do esquecido seja desvantajoso e energeticamente custoso.
