A confirmação de candidatos é mais cara do que a sua geração: iscas contra a busca de vulnerabilidades por LLM

9 novembro 20267 visualizações

O trabalho analisa a assimetria de custos na busca agentiva por defeitos: gerar variantes é barato, mas confirmá-las por meio de análise de alcançabilidade, execução e PoC exige a maior parte do orçamento; por isso, a verificação pode tornar-se um alvo de defesa por si só. O RedHerring proposto — iscas adaptadas ao repositório, com certificado selado — reduziu, com custos iguais, o número de vulnerabilidades reais encontradas em 38,7–60,4% em 33 projetos do OSS-Fuzz; mesmo após alertar o agente, a redução manteve-se em 37,2%.

A confirmação de candidatos é mais cara do que a sua geração: iscas contra a busca de vulnerabilidades por LLM

Teste de hipóteses como recurso limitado

Agentes LLM autónomos procuram vulnerabilidades ao nível do repositório. Geram muitas hipóteses. Com um orçamento finito, o agente verifica apenas uma parte delas.

A verificação de uma hipótese inclui várias etapas:

  • análise da possibilidade de alcançar o código;
  • execução do código;
  • criação de uma prova de conceito.

Estas ações são mais dispendiosas do que gerar uma hipótese. Por isso, a procura de vulnerabilidades torna-se um processo de verificação seletiva. Os custos da verificação constituem uma superfície de defesa distinta.

Critério prático: o orçamento de defesa deve ser avaliado pelo custo de confirmação dos candidatos, e não pelo número de hipóteses geradas.

O chamariz como objeto com certificado

RedHerring adiciona chamarizes certificavelmente seguros. Um chamariz desvia os esforços de verificação das vulnerabilidades reais. Cada chamariz combina dois elementos:

  • uma cadeia de vulnerabilidade derivada de uma CVE; atrai a verificação;
  • um elo de ligação falso; por causa dele, o sink perigoso continua inacessível.

Um certificado privado permite ao defensor verificar esta propriedade de forma eficiente. Estabelecer o mesmo facto a partir do repositório publicado exige resolver um problema computacionalmente difícil.

Tarefa de verificaçãoCondição
Confirmação pelo defensorcertificado privado
Estabelecer o mesmo facto a partir do repositório publicadoresolver um problema computacionalmente difícil

RedHerring adapta cada chamariz ao repositório-alvo. O chamariz parece lógica normal do programa.

Critério prático: um chamariz é adequado se o defensor confirmar a sua segurança com um certificado e o agente tiver de gastar orçamento na verificação.

O que os testes demonstraram

Os testes decorreram em 33 projetos OSS-Fuzz, 70 instâncias de avaliação e cinco modelos. Os orçamentos eram iguais.

Condição dos testesResultado
Orçamentos iguais, 33 projetos OSS-Fuzz, 70 instâncias de avaliação, cinco modelosredução de 38,7–60,4% no número de vulnerabilidades reais encontradas
Agentes explicitamente informados sobre os chamarizesredução de 37,2% em relação à Baseline informada

A análise das trajetórias revelou uma carga adicional:

  • os agentes gastam 30,6–51,5% dos completion tokens a verificar chamarizes;
  • estima-se que 32,5–49,9% do tempo de execução seja dedicado à mesma verificação.

Os agentes informados adaptaram a estratégia de procura. Ainda assim, RedHerring reduziu o número de vulnerabilidades encontradas. Os autores indicam que a eficácia do método não depende do secretismo dos chamarizes.

Critério prático: os chamarizes continuam a ter efeito mesmo quando são revelados; por isso, a defesa assenta na sua estrutura e não na sua ocultação.

Critérios para a implementação da defesa do repositório

Ao implementar chamarizes, é necessário verificar várias condições:

  • a confirmação dos candidatos é contabilizada como um recurso de defesa separado;
  • o chamariz contém uma cadeia de vulnerabilidade derivada de uma CVE e atrai a verificação;
  • o elo de ligação falso mantém o sink perigoso inacessível;
  • o defensor guarda um certificado privado para verificar rapidamente a propriedade;
  • o chamariz está adaptado à lógica normal do repositório-alvo;
  • mede-se a proporção de completion tokens e do tempo de execução dedicada à verificação dos chamarizes;
  • o secretismo não é considerado uma condição obrigatória: um agente informado altera a estratégia, mas o efeito mantém-se.

Critério de seleção: um chamariz é adequado se o defensor confirmar rapidamente a sua propriedade com um certificado e o agente gastar orçamento na sua verificação. Se o chamariz não atrair a verificação ou não puder ser verificado rapidamente pelo defensor, não cumpre a função de defesa.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Verificação de alucinações em LLMs com uma representação SQL das fontes, sem ajuste fino
Notícias

Verificação de alucinações em LLMs com uma representação SQL das fontes, sem ajuste fino

Este trabalho avalia se uma LLM consegue recorrer a uma competência simbólica básica — construir uma base de dados SQL a partir de documentos de origem — para fundamentar as respostas nas fontes sem supervisão na deteção de alucinações. No RAGTruth e no DiaHalu, este pipeline neuro-simbólico revela-se mais preciso do que a previsão direta e comparável aos métodos mais avançados, sem exigir afinação específica ao domínio.

9 novembro 2026
MathAdv: o que esconde a precisão final das provas geradas por máquina
Notícias

MathAdv: o que esconde a precisão final das provas geradas por máquina

Um conjunto de tarefas de diagnóstico em 13 áreas da matemática de nível universitário e de pós-graduação avalia sistemas de demonstração automática em Lean 4 não só pelo resultado final, mas também pelo domínio da matéria, pela qualidade do raciocínio informal e pela robustez perante reformulações das condições. A análise por componente mostra que traduzir um problema para uma forma formal continua a ser o principal obstáculo, e que o sucesso depende muito da área da matemática e da forma como o problema é formulado.

9 novembro 2026
AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador
Investigação

AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador

O trabalho descreve um modelo generativo que prevê simultaneamente observações RGB futuras, campos escalares, mapas de calor de affordances e comandos contínuos para o robô, usando vídeos humanos para ampliar a diversidade das interações sem anotações de ações nem retargeting. No RoboCasa, no CALVIN ABC→D e em tarefas reais, a abordagem apresenta ganhos consistentes em relação às linhas de base que usam apenas RGB e apenas dados robóticos.

9 novembro 2026
A confirmação de candidatos é mais cara do que a sua geração: iscas contra a busca de vulnerabilidades por LLM