Baobab:将SROIQ本体编译为可微架构,在保持逻辑的同时训练神经网络

30 八月 202610 视图

Baobab的新方法通过推论演算将OWL 2 DL本体转换为可微分的SDD模式,从而能够在考虑逻辑约束的情况下,基于真实数据训练感知模型。作者展示了这如何缓解推理捷径问题,并使后验估计更接近贝叶斯最优。

Baobab:将SROIQ本体编译为可微架构,在保持逻辑的同时训练神经网络

描述逻辑上的神经符号学习有什么问题

基于描述逻辑SROIQ的OWL 2 DL本体,早已成为生物医学和语义网中的实用工具——它们能够紧凑地描述大型知识库。但当我们谈到利用这类本体训练神经网络时,问题就出现了。经典方法要么通过将本体嵌入连续向量空间来“模糊”逻辑,从而丢失严格的逻辑推导;要么局限于Horn片段EL++,而后者只有唯一一个典范模型。因此,表达力强的本体往往无法用于混合系统。

将本体编译为可微分的模式

Baobab系统提出了一种不妥协的方案:它将带有有限ABox的完整SROIQ本体编译为句子决策图(Sentential Decision Diagram,SDD)。该过程分两步进行:首先,通过基于结论的演算(consequence-based calculus)对命题核心进行饱和处理;然后,针对SROIQ特有的构造——如名义概念(nominals)、角色数量限制和角色公理——在活跃域上进行实例化。最终得到的是一个模式,可以在此基础上执行加权模型计数(weighted model count,WMC)。正是WMC成为了神经网络与逻辑约束之间的桥梁。

在保留逻辑的同时训练神经网络

基于证据对SDD进行加权模型计数,使得感知网络——例如卷积神经网络——即使在只有部分数据被标注在ABox中的情况下,也能学会识别图像。在实验中,作者构建了一个涉及SROIQ所有显著特征的本体,并训练CNN识别与后继关系(successor relation)相关联的MNIST数字。网络不仅仅是分类图像——它还恢复了潜在的 ontological 概念。在独立训练感知时,这些概念只能停留在随机水平,而在这里,它们是通过逻辑约束被学习到的。

推理捷径与校准后验

当监督信号允许多种与本体同样一致的补全方式时,独立训练的网络往往会“坍缩”到其中一种。作者将这种现象称为推理捷径(reasoning shortcut)。文章表明,由查询的论证(justifications)索引的混合模型能够表示校准后验——这是单一模型无法达到的。此外,如果用模式中枚举出的补全来初始化这种混合模型,就可以在真实图像的MNIST任务上获得贝叶斯最优后验。相比之下,单一的WMC和训练出的集成混合模型都无法给出这样的结果。

正确性验证与可用性

作者指出,这是首个在非Horn描述逻辑中对推理捷径进行刻画并加以缓解的工作。编译器的正确性以及可表示性结果已在Lean 4中通过机器验证——这是该方法可靠性的有力论据。系统代码是开放的,因此结果可以被复现和进一步发展。

结论

Baobab表明,为了可学习性,我们不必牺牲描述逻辑的表达力。将SROIQ编译为可微分模式,既保留了逻辑推论,又使得在真实数据上训练神经网络成为可能。而通过基于论证索引的混合模型来解决推理捷径问题,则是迈向更可靠、更校准的混合模型的重要一步。

常问问题

Baobab:将SROIQ本体编译为可微架构,在保持逻辑的同时训练神经网络