数值约束与校正方法决定双曲层级特征的保留

7 十一月 20261 视图

这项工作探讨了流形约束的可行性、算术精度和归一化如何缩小可达状态空间,并由此影响模型中能够保留下来的已习得结构证据。因此,在没有单独考虑数值限制和修正的情况下,不能将保存下来的扁平检查点视为几何结构失效的证据。

数值约束与校正方法决定双曲层级特征的保留

数值实现是双曲层级结构的前提条件

双曲几何能够以欧几里得空间在相近维度下无法实现的精度表示层级结构。双曲语言模型通过适配器限制这种几何,或重构 Transformer。对已发布的双曲视觉语言模型检查点进行的独立审计发现,层级结构机制处于非激活状态。这一结果被解读为几何或目标函数方面的证据。

关键要点:

  • 几何决定层级结构的表示方式。
  • 适配器和重构 Transformer 是将几何嵌入语言模型的两种方法。
  • 审计覆盖已发布的检查点。
  • 审计结果有两种解读:几何或目标函数。

结论:需要结合数值实现来检验特征保留情况,而不能只看所选几何。

流形约束与双精度的极限

流形约束是两个共同增长的项之差。对于未裁剪的映射,在曲率和温度均为 1 时,在所有测量过的数值格式下,该约束都不成立,其中包括双精度。标准语言模型在最深层中产生的范数就足以导致违反约束。这超出了先前估计的范围。

需要检查的内容:

  • 计算格式:包括双精度。
  • 曲率和温度:曲率和温度均为 1。
  • 最深层产生的范数。
  • 约束中两个增长项之间的关系。

结论:不考虑深层范数的约束检验,无法反映约束的实际表现。评判标准是:测量模型所产生的范数是否满足约束。

范数约束与径向敏感性

一种常见的修正方法是范数约束。它会使映射在约束生效的区域内丧失径向敏感性。映射可行并不意味着具有径向敏感性。这种方法无法恢复径向敏感性。

关键要点:

  • 范数约束使映射可行。
  • 在约束生效的区域内,径向敏感性缺失。
  • 可行性和径向敏感性是映射的不同属性。
  • 这种方法很常见,但无法保留径向敏感性。

结论:不能将范数约束视为充分的修正。评判标准是:检查映射的径向敏感性,而不只是检查其可行性。

训练中的硬约束与算术修正

在一项预先设定的测试中,相较于平坦系统,更硬的约束使洛伦兹系统在留出结构方面付出了更高代价。结构训练在六个专家系统中进行,共进行了 20,951,552 次训练呈现。在目标函数保持不变的配对运行中,研究者检验了两项改动。移除初始尺度修正会阻止每一次更新。移除单精度区域会增大训练早期达到的半径。

改动或条件观察到的效果
更硬的约束相较于平坦系统,洛伦兹系统在留出结构方面付出了更高代价
移除初始尺度修正阻止每一次更新
移除单精度区域增大训练早期达到的半径
结构训练在六个专家系统中进行,共进行了 20,951,552 次训练呈现

结论:约束强度和算术修正会改变一次运行能够达到的状态。比较几何时,应保持算术条件一致。

特征保留的实践评判标准

算术限定了可计算区域。在该区域内,算术及其修正与目标函数共同发挥作用。它们决定哪些运行会留下记录,以及运行过程中能够达到哪些状态。仅凭一个保留下来的平坦模型检查点,本身并不能证明几何处于非激活状态。

检验标准:

  • 测量深层范数下的流形约束是否成立。
  • 考虑精度格式,包括双精度。
  • 检查范数约束后的映射是否具有径向敏感性。
  • 记录初始尺度修正和单精度区域。
  • 在目标函数不变、算术条件一致的情况下比较运行结果。

结论:要确认双曲层级结构的特征得以保留,必须检验获得模型状态时所处的算术条件。几何类型和保留下来的检查点本身不足以证明这一点。

常问问题

数值约束与校正方法决定双曲层级特征的保留