Ameaça oculta em prompts inofensivos
As redes neurais modernas que geram imagens a partir de descrições textuais conseguem criar imagens impressionantes, mas às vezes "produzem" conteúdo indesejado. Normalmente, a proteção desses sistemas é construída com base na intervenção em sua estrutura interna: re-treinamento do codificador de texto, ajuste de pesos ou processamento especial na etapa de inferência. Essa abordagem é eficaz enquanto você tem acesso ao modelo em si, mas não é adequada para serviços proprietários fechados que operam como "caixa-preta".
Como alternativa, tenta-se usar grandes modelos de linguagem para reescrever automaticamente as solicitações em um formato seguro. Mas aqui também há um ponto fraco: o prompt fica linguisticamente totalmente inofensivo, porém, devido à forma como o modelo distribuiu os dados durante o treinamento, a geração ainda vai para uma área prejudicial. Os autores chamam esse modo de "adversarial benigno" — quando o texto é formalmente seguro, mas o resultado não é.
O que o DiSCO propõe
O método DiSCO (otimização contrastiva de prompts guiada por distribuição), desenvolvido por um grupo de pesquisadores, propõe um caminho completamente diferente: proteger a geração no nível dos prompts, sem olhar para dentro do modelo. É uma solução estritamente black-box que funciona como um módulo externo plug-and-play. Não requer ajuste fino, re-treinamento ou qualquer informação sobre os parâmetros e a arquitetura do sistema alvo.
A ideia é modificar automaticamente o sufixo — ou seja, a parte final do prompt — de modo a direcionar a geração para um caminho seguro. A busca pelo sufixo adequado é feita com beam search, e a qualidade dos candidatos é avaliada por scoring contrastivo. Para isso, o módulo gera antecipadamente, usando o próprio modelo alvo, dois pools de imagens: seguras e inseguras. Comparando os resultados da geração com os pools de referência, o DiSCO entende em que direção "empurrar" o sufixo.
O processo é iterativo: após cada etapa, o módulo avalia a imagem obtida e, se ela ainda contiver elementos indesejados, ajusta o sufixo novamente. Isso continua até que a geração se torne compatível com o pool seguro. Nenhuma etapa exige a exposição das entranhas do modelo — toda a interação ocorre apenas pelo envio de prompts e recebimento de imagens.
Qual a eficácia disso
Os pesquisadores testaram o DiSCO no benchmark I2P (Inappropriate Image Prompts) em cenários de múltiplos ataques red-teaming. O resultado mostra que a taxa de ataques bem-sucedidos cai 37,7% para modelos sem qualquer proteção e 25,13% para modelos que já estavam protegidos por outros métodos. Isso significa que o DiSCO não apenas fecha brechas onde não há proteção, mas também reforça barreiras já existentes.
É significativo que, nesse processo, a precisão semântica não sofra: as imagens geradas permanecem relevantes ao prompt original, e a coerência até melhora. Em outras palavras, o módulo não prejudica a qualidade da geração, apenas a afasta de interpretações potencialmente perigosas.
Como o DiSCO é agnóstico em relação à arquitetura, ele pode ser conectado a qualquer sistema text-to-image sem alterar o próprio modelo. Isso é especialmente valioso para APIs comerciais fechadas, onde o acesso é limitado, e para usuários que desejam aumentar a segurança de serviços de terceiros — por exemplo, antes de usá-los em aplicações públicas.
Apesar dos resultados impressionantes, vale lembrar que o método não é uma "bala de prata", mas uma das camadas de proteção. Eliminar completamente os riscos provavelmente não será possível, mas mudar a abordagem da segurança "interna" para a "externa" e adaptativa é um passo importante rumo à resiliência dos sistemas generativos contra solicitações maliciosas.
