基于稀疏专家的表格上下文学习:紧凑型 OrionMoE-Small-v1.0

15 十一月 20261 视图

这是一款面向表格任务的紧凑型基础模型,可根据已标注的参考表格预测新观测,无需微调参数。结合数据集和特征表示进行自适应专家选择,能够取得具有竞争力的效果,尤其是在上下文较少、维度较高时。

基于稀疏专家的表格上下文学习:紧凑型 OrionMoE-Small-v1.0

上下文学习表格:模式要点

模型根据带标签的支持表格预测未见样本。模型不会针对特定任务更新参数。本文介绍 OrionMoE-Small-v1.0——一款用于上下文学习的紧凑型表格基础模型。

该模式的关键要素:

  • 输入 — 带标签的支持表格;
  • 目标 — 预测未见样本;
  • 适配 — 不针对特定任务更新参数;
  • 模式 — 上下文学习。

实用判断标准:任务能够通过带标签的支持表格进行预测。无需针对任务进行梯度适配。

架构:双轴 Transformer 与稀疏专家

OrionMoE-Small-v1.0 采用双轴 Transformer 架构。模型结合了考虑数据分布的表示与稀疏混合专家计算。这些计算由数据集驱动。激活专家的选择会考虑单元格表示以及整个数据集的上下文。

模型构成:

  • 架构 — 双轴 Transformer;
  • 表示 — 考虑数据分布;
  • 计算 — 由数据集驱动的稀疏混合专家;
  • 专家选择 — 基于单元格表示和数据集上下文;
  • 计算分配 — 在异质表格任务之间自适应调整;
  • 计算路径 — 不同任务共用。

实用判断标准:异质表格任务需要自适应分配计算资源。模型为不同任务保留了通用计算路径。

训练:合成分类任务

模型仅在合成分类任务上进行了预训练。这些任务基于结构化因果先验分布。对于下游任务,模型无需梯度适配即可进行预测。注释中给出了 OrionMoE-Small-v1.0 这一名称。

论文作者:Mohamed Bouadi、Nassim Bouarour、Aditya Tanna、Vinay Kumar Sankarapu。作者于 2026 年 10 月 14 日提交论文。最新修订版于 2026 年 10 月 18 日发布。论文版本为 v2。

关于训练已知的信息:

  • 数据 — 仅包括合成分类任务;
  • 基础 — 结构化因果先验分布;
  • 下游任务 — 无需梯度适配。

实用判断标准:来源描述的预训练仅基于合成分类任务。对于其他类型的任务,来源未提供相关事实。

结果与适用标准

OrionMoE-Small-v1.0 在多个表格基准测试中取得了有竞争力的结果。比较对象是规模大得多的基础模型。分析指出,该模型在上下文较少、维度较高的数据集上表现尤为出色。进一步分析显示,模型在类别不平衡情况下的相对表现较好。

场景分析结果
与规模大得多的基础模型比较有竞争力的结果
上下文较少、维度较高表现尤为出色
类别不平衡相对表现较好
特征组合分析指出其重要性

实用判断标准:上下文较少、维度较高是模型表现尤为出色的条件。类别不平衡和特征组合是分析中单独列出的要点。

常问问题

基于稀疏专家的表格上下文学习:紧凑型 OrionMoE-Small-v1.0