Auditoria de privacidade de modelos abertos
Pesos públicos são convenientes, mas também criam um risco oculto. Uma empresa pode pegar um modelo de pesos abertos e refiná-lo em uma base interna: correspondências, dados médicos ou documentos corporativos. O usuário geralmente não sabe quais registros específicos entraram no treinamento, e para reguladores e clientes essa é uma questão fundamental. A verificação de "membros" no conjunto de treinamento — inferência de associação — responde exatamente a isso: é possível, pelo comportamento do modelo, entender que um texto específico foi usado na adaptação?
A tarefa é complicada pelo fato de que normalmente temos apenas o checkpoint após o refinamento e a versão aberta do modelo anterior a ele. Comparando as reações dos dois checkpoints ao mesmo fragmento, podemos tentar separar o efeito do refinamento do comportamento geral do modelo.
Características dos modelos de linguagem difusos
LLMs clássicos geram texto token por token, da esquerda para a direita. Modelos de linguagem difusos discretos (dLLM) são estruturados de forma diferente: eles conseguem restaurar simultaneamente várias posições mascaradas. Em vez de previsões sequenciais, o modelo recebe como entrada um texto com um conjunto arbitrário de máscaras e produz probabilidades para todos os "buracos" em uma única passagem direta.
Essa capacidade torna os dLLMs especialmente interessantes para auditoria de privacidade. Se você precisa verificar se o modelo se lembra de um trecho específico, pode ocultar parte dos tokens e observar a reação. No entanto, a questão é quais posições mascarar e como interpretar a resposta.
Por que a simples média de máscaras não funciona
A primeira intuição é testar muitas máscaras aleatórias diferentes e calcular a média do erro de reconstrução. É exatamente assim que funciona a abordagem antiga SAMA: o modelo é executado em dezenas de variantes aleatórias e, em seguida, o sinal é calculado pela média.
Essa solução tem duas desvantagens. Primeiro, máscaras aleatórias frequentemente capturam posições "chatas", que o modelo prevê igualmente mesmo sem refinamento — o sinal útil se perde no ruído. Segundo, cada execução custa recursos: para uma única amostra, são necessárias dezenas de passagens pelo modelo, o que, na escala de um grande conjunto de dados, se torna uma operação cara. É preciso uma maneira de escolher máscaras de forma significativa, e não ao acaso.
A confiança indica onde mascarar
Os autores do novo preprint propuseram o método JUMP (Joint Uncertainty-Guided Mask Probing). A ideia é usar um modelo de referência — o checkpoint anterior ao refinamento — como um "detector de mentiras".
Primeiro, o modelo de referência é executado no texto original e são encontradas as posições em que ele tem menos confiança. A suposição é que exatamente esses pontos mudam mais durante o refinamento: se informações específicas fluem nesses locais, o modelo foi forçado a aprendê-las. Em seguida, essas posições de baixa confiança são mascaradas todas juntas, e o modelo alvo as reconstrói em uma única consulta.
Depois, compara-se a lacuna entre as reconstruções dos modelos alvo e de referência. Para não considerar desvios aleatórios, aplica-se um corte: apenas as diferenças que ultrapassam um certo limite entram na agregação. Essa lacuna "cortada" separa melhor o sinal verdadeiro do ruído, e o mascaramento conjunto de posições informativas economiza computação.
Resultados: menos passagens — maior precisão
Os autores realizaram seus testes no benchmark MIMIR, que abrange seis domínios textuais. Como cobaias, foram usados dois modelos difusos de pesos abertos: LLaDA-8B-Base e Dream-v0-Base-7B.
Em média, nos domínios, a métrica ROC-AUC para LLaDA aumentou de 0,819 para 0,902, e para Dream — de 0,851 para 0,942. Isso é um aumento notável na precisão da atribuição. Além disso, o JUMP gasta apenas três passagens do modelo por amostra, enquanto o SAMA requer 32. Em outras palavras, o método não é apenas mais preciso, mas também cerca de uma ordem de grandeza mais barato em número de inferências.
Significado prático
A abordagem proposta mostra que, para auditar modelos difusos refinados, não é necessário testar máscaras cegas. Basta perguntar ao modelo de referência onde falta confiança e direcionar a verificação exatamente para essas áreas. Isso fornece uma ferramenta que pode ser aplicada no lançamento de atualizações de modelos de pesos abertos e na verificação da conformidade com requisitos de dados pessoais.
O trabalho ainda está em status de preprint — 22 páginas, versão atual v2 de 18 de agosto de 2026. No entanto, a própria formulação do problema e os fortes resultados permitem esperar que o método tenha continuação: adaptação a outros tipos de arquiteturas difusas ou robustez a cenários de refinamento mais agressivos.
