通过 SQL 视图检查 LLM 幻觉,无需微调

9 十一月 202616 视图

这项研究考察了 LLM 能否运用一项基础的符号技能——根据源文档构建 SQL 数据库——在幻觉检测中实现无监督的来源归因。在 RAGTruth 和 DiaHalu 上,这种神经符号流程比直接预测更准确,且性能可与先进方法相媲美,无需针对特定领域进行微调。

通过 SQL 视图检查 LLM 幻觉,无需微调

幻觉检测任务

幻觉是指语言模型给出的事实错误或无法得到来源支持的结论。LLM 推理过程的不透明性使这类结论难以检测。人们很难了解模型为何会给出不准确的结论。

本文研究无监督幻觉检测。该方法根据来源而非模型的内部置信度来核验输出。结论:核验需要一个外部锚点——源文档。

将 SQL 数据库用作来源表示

作者提出让语言模型根据源文档构建 SQL 数据库。该数据库成为对来源事实的结构化表示。随后,利用数据库对来源和生成的回答进行推理。

结论:SQL 表示将核验转化为对数据的查询。

神经符号核验流程

幻觉检测流程基于构建好的数据库。它实现了神经符号核验。该流程结合语言模型与针对 SQL 数据库的符号操作。核验依据来源和生成的回答进行。

结论:通过查询,核验步骤变得明确且可复现。

与直接预测的比较

在 RAGTruth 和 DiaHalu 数据集上,该方法优于直接预测。它的表现可与先进的幻觉检测方法相竞争。该方法不需要针对特定领域进行微调,而是依托 LLM 已有的底层通用能力。

| 标准 | 直接预测 | 基于 SQL 数据库的方法 | | 使用的内容 | LLM 直接给出评估 | 基于来源构建的 SQL 数据库和神经符号核验 | | 针对特定领域的微调 | 未说明 | 不需要 | | 在 RAGTruth 和 DiaHalu 上的结果 | 不如 SQL 方法 | 优于直接预测,并可与先进方法相竞争 |

结论:SQL 方法提供了可核验的来源依据。本文已被 GroundLM EMNLP 2026 Workshop 接收。

实用选择标准

选择标准包括以下条件:

  • 存在源文档;
  • 来源支持构建 SQL 数据库;
  • 不需要针对特定领域进行微调;
  • 核验依据来源和生成的回答进行。

该方法依托 LLM 的底层符号能力,例如 SQL。结论:当核验以来源为依据且不需要针对特定领域进行微调时,该方法适用。

常问问题

通过 SQL 视图检查 LLM 幻觉,无需微调