Problema: memória existe, mas o erro é difícil de encontrar
A memória persistente é considerada uma das partes mais importantes de um agente LLM: é ela que permite que ele trabalhe entre sessões, lembre-se do contexto, ajuste suas representações e se adapte ao usuário. No entanto, um sistema de memória real não é um único componente, mas sim um pipeline inteiro com várias etapas: recepção de dados, busca dos trechos relevantes, filtragem e, por fim, uso na geração da resposta. Quando o resultado sai errado, as métricas de ponta a ponta apenas constatam o fato da falha. Elas não explicam em qual etapa algo deu errado — e isso transforma o aprimoramento da memória em um ajuste cego de parâmetros.
As abordagens existentes para avaliação agravam o problema. Normalmente, elas informam a precisão média em um conjunto de testes, mas omitem a significância estatística das mudanças, não verificam se uma melhoria em certos recortes não veio às custas de regressões em outros, e não deixam rastros diagnósticos pelos quais se possa reconstruir o raciocínio. No fim, a equipe pode gastar semanas em experimentos sem descobrir qual intervenção específica levou à melhoria e se algo mais não quebrou.
Protocolo D²ACCI
Para lidar com esse problema, os pesquisadores propuseram o D²ACCI — um protocolo de dois circuitos para o desenvolvimento iterativo de memória. A ideia é que qualquer mudança no sistema deve passar por um "portão" diagnóstico externo: ele promove a mudança, a marca como experimental ou a rejeita totalmente — com base em evidências pareadas, monitoramento de recortes protegidos e rastros que permitem localizar a falha no nível de uma etapa específica.
A principal novidade do protocolo é a métrica DCR, que mede a "observabilidade graduada": o grau em que os erros permanecem localizáveis a partir dos dados disponíveis. Ou seja, avalia-se não apenas a qualidade da resposta, mas também se é possível entender, pelos registros do experimento, exatamente onde o problema surgiu. Para reprodutibilidade, há também o artefato D²ACCI-Eval, que permite reexecutar o portão nos mesmos dados e conferir os resultados.
Como funciona na prática
O protocolo foi aplicado no sistema de memória MemStack. Ele foi avaliado em três benchmarks públicos: a precisão foi de 93.59% no LoCoMo, 90.93% no LongMemEval e 57.20% no PersonaMem-V2. Mas muito mais interessantes do que os números em si são as descobertas feitas graças às ablações pareadas.
Cinco experimentos mostraram que três componentes — supplement extraction, session-memory retrieval e Forget Guard — proporcionam um ganho estatisticamente significativo de +1.9 a +3.7 pontos percentuais (em todos os casos, p ≤ .003). As demais mudanças se mostraram indistinguíveis na métrica agregada. Por exemplo, a escolha entre BM25 e RRF foi mantida como um feature flag controlável — e essa diferença simplesmente não é visível na avaliação comum, mas se torna perceptível no nível dos rastros.
Por que isso muda a abordagem de desenvolvimento
Separadamente, os autores conduziram uma auditoria diagnóstica: compararam a concordância entre especialistas sobre a causa raiz da falha ao reclassificar apenas com base nos resultados e ao usar rastros enriquecidos. A segunda opção melhorou significativamente a consistência das conclusões. Já o DCR@3 demonstrou uma diferença gritante: os artefatos diagnósticos alcançaram 98–100% de localizabilidade, enquanto os logs apenas com resultados ficaram em 0%.
A conclusão é bastante clara: para melhorar sistemas de memória de forma confiável, são necessárias evidências que possam ser rastreadas, fundamentadas estatisticamente e verificadas quanto a regressões. Sem isso, é impossível distinguir uma melhoria real de um acaso, ou uma correção bem-sucedida de um problema que "migrou" de uma etapa do pipeline para outra. O D²ACCI é uma tentativa de transformar esse tipo de diagnóstico de um processo manual e trabalhoso em uma parte padrão do ciclo de desenvolvimento.
