Verificação de alucinações em LLMs com uma representação SQL das fontes, sem ajuste fino

9 novembro 202616 visualizações

Este trabalho avalia se uma LLM consegue recorrer a uma competência simbólica básica — construir uma base de dados SQL a partir de documentos de origem — para fundamentar as respostas nas fontes sem supervisão na deteção de alucinações. No RAGTruth e no DiaHalu, este pipeline neuro-simbólico revela-se mais preciso do que a previsão direta e comparável aos métodos mais avançados, sem exigir afinação específica ao domínio.

Verificação de alucinações em LLMs com uma representação SQL das fontes, sem ajuste fino

Tarefa de deteção de alucinações

Uma alucinação é uma conclusão de um modelo de linguagem que é factualmente incorreta ou não é sustentada pela fonte. A opacidade do raciocínio dos LLM dificulta a deteção dessas conclusões. Não é claro por que motivo uma conclusão do modelo pode ser imprecisa.

O artigo investiga a deteção de alucinações sem supervisão. A abordagem verifica a conclusão com base na fonte, e não na confiança interna do modelo. Conclusão: a verificação precisa de uma âncora externa — documentos-fonte.

Base de dados SQL como representação das fontes

Os autores propõem que um modelo de linguagem construa uma base de dados SQL a partir dos documentos-fonte. A base de dados torna-se uma representação estruturada dos factos das fontes. Em seguida, é utilizada para raciocinar com base na fonte e na resposta gerada.

Conclusão: a representação SQL converte a verificação em consultas a dados.

Pipeline de verificação neurossimbólico

O pipeline de deteção de alucinações baseia-se na base de dados construída. Permite uma verificação neurossimbólica. O pipeline combina um modelo de linguagem com operações simbólicas sobre a base de dados SQL. A verificação é feita com base na fonte e na resposta gerada.

Conclusão: a etapa de verificação torna-se explícita e reproduzível através de consultas.

Comparação com a previsão direta

Nos conjuntos de dados RAGTruth e DiaHalu, a abordagem supera a previsão direta. É competitiva com os métodos avançados de deteção de alucinações. A abordagem não requer ajuste fino específico do domínio. Baseia-se na competência geral de baixo nível que os LLM já possuem.

| Critério | Previsão direta | Abordagem baseada em base de dados SQL | | O que utiliza | O LLM gera imediatamente uma avaliação | Base de dados SQL criada a partir das fontes e verificação neurossimbólica | | Ajuste fino específico do domínio | Não indicado | Não é necessário | | Resultado em RAGTruth e DiaHalu | Fica aquém da abordagem SQL | Supera a previsão direta e é competitiva com métodos avançados |

Conclusão: a abordagem SQL oferece uma base verificável na fonte. O artigo foi aceite no GroundLM EMNLP 2026 Workshop.

Critério prático de seleção

O critério de seleção inclui várias condições:

  • existem documentos-fonte;
  • a fonte permite a construção de uma base de dados SQL;
  • não é necessário ajuste fino específico do domínio;
  • a verificação é feita com base na fonte e na resposta gerada.

A abordagem baseia-se na competência simbólica de baixo nível dos LLM, por exemplo, SQL. Conclusão: a abordagem é adequada quando a verificação se baseia na fonte e não é necessário ajuste fino específico do domínio.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
A confirmação de candidatos é mais cara do que a sua geração: iscas contra a busca de vulnerabilidades por LLM
Notícias

A confirmação de candidatos é mais cara do que a sua geração: iscas contra a busca de vulnerabilidades por LLM

O trabalho analisa a assimetria de custos na busca agentiva por defeitos: gerar variantes é barato, mas confirmá-las por meio de análise de alcançabilidade, execução e PoC exige a maior parte do orçamento; por isso, a verificação pode tornar-se um alvo de defesa por si só. O RedHerring proposto — iscas adaptadas ao repositório, com certificado selado — reduziu, com custos iguais, o número de vulnerabilidades reais encontradas em 38,7–60,4% em 33 projetos do OSS-Fuzz; mesmo após alertar o agente, a redução manteve-se em 37,2%.

9 novembro 2026
MathAdv: o que esconde a precisão final das provas geradas por máquina
Notícias

MathAdv: o que esconde a precisão final das provas geradas por máquina

Um conjunto de tarefas de diagnóstico em 13 áreas da matemática de nível universitário e de pós-graduação avalia sistemas de demonstração automática em Lean 4 não só pelo resultado final, mas também pelo domínio da matéria, pela qualidade do raciocínio informal e pela robustez perante reformulações das condições. A análise por componente mostra que traduzir um problema para uma forma formal continua a ser o principal obstáculo, e que o sucesso depende muito da área da matemática e da forma como o problema é formulado.

9 novembro 2026
AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador
Investigação

AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador

O trabalho descreve um modelo generativo que prevê simultaneamente observações RGB futuras, campos escalares, mapas de calor de affordances e comandos contínuos para o robô, usando vídeos humanos para ampliar a diversidade das interações sem anotações de ações nem retargeting. No RoboCasa, no CALVIN ABC→D e em tarefas reais, a abordagem apresenta ganhos consistentes em relação às linhas de base que usam apenas RGB e apenas dados robóticos.

9 novembro 2026
Verificação de alucinações em LLMs com uma representação SQL das fontes, sem ajuste fino