迁移的边界在哪里:游戏智能体的数据规模、世界多样性与模型大小

21 十一月 20260 视图

在 120 种配置上,研究人员检验了在图形、物理机制、控制方式和任务各不相同的虚拟环境之间迁移时,长期预训练的优势能否保留。扩大训练语料有助于在已掌握的世界中表现更好,增加多样性则能提升对相近环境的迁移能力;模型规模增大能提高数据利用效率,但若只在一个世界中训练,则会削弱对差异较大环境的适应能力。作者据此得出结论:仅靠预训练不足以打造通用智能体。

迁移的边界在哪里:游戏智能体的数据规模、世界多样性与模型大小

检查了什么,以及如何衡量迁移

这项研究聚焦于虚拟世界中具身智能体的 continued pre-training (CPT)。作者检验了数据规模、数据多样性和模型规模带来的提升能否迁移。研究涵盖 120 种训练配置。

因素变化范围
模型规模四种取值,从 0.8B 到 27B
数据量六种取值,从 50 到 1,600 小时
数据混合五种方案:从单一世界的数据到多样化的多世界语料
评估三层验证损失和游戏基准测试

评估分为三个层级:训练中的世界、相关世界和未见过的世界。这样的设计可以区分熟悉环境中的收益与迁移效果。实践标准:验证时纳入全部三组世界。否则,训练过的世界中的提升会掩盖在遥远世界中的差距。

数据量:在熟悉世界中的效果

增加数据量会提升模型在训练数据所涵盖世界中的表现。这是在熟悉领域中得到证实的规模效应。对于遥远世界,作者并未将迁移效果归结为单一的数据量因素。

数据量并非适用于所有目标的通用杠杆。它能在训练中已有相关世界的情况下带来明确收益。对于新世界,需要单独检验数据量能弥补多少差距。

选择标准:

  • 目标世界包含在训练中——增加数据量;
  • 目标世界较遥远——不要只依赖数据量;
  • 世界组成不明确——先按相似度划分世界。

多样性:迁移到相关世界,而非遥远世界

数据多样性可以提升向相关世界的迁移效果。在遥远世界中,增益有限。这一效果表明,多样性不同于单纯增加数据量。

世界相似度观察到的多样性效果实践结论
相关世界提升迁移效果多样化的数据混合有其价值
遥远世界增益有限仅靠多样性并不足够

多样性扩大了迁移范围,但无法让智能体变得通用。数据混合可以充当通往相似世界的桥梁。对于遥远世界,这座桥还不够长。

实践标准:评估目标世界与训练世界的相似度。对于相关世界,多样化的数据混合是有效工具。对于遥远世界,多样性并不足够。

模型规模:数据利用效率与狭窄泛化的风险

增大模型规模可以提高数据利用效率。在单一世界上训练时,模型规模会削弱对遥远世界的泛化能力。因此,模型规模的效果取决于数据组成。

更大的模型能更好地利用现有数据。但在训练范围狭窄时,它会缩小迁移范围。同样的参数增长,因世界混合方式不同而产生的效果也不同。

选择标准:

  • 在单一世界上训练——不要指望模型规模提升迁移效果;
  • 使用多样化数据——模型规模能增强数据利用效果;
  • 选择模型规模——必须结合数据混合方式。

训练的两个阶段:接口与世界

作者观察到早期接口阶段 (early interface phase)。在这一阶段,模型能在不同世界中获得广泛收益。之后进入后期世界阶段 (later world phase)。在这一阶段,提升范围会收窄至训练中的世界和相关世界。

不同阶段对应不同的迁移范围。早期阶段会形成适用于不同世界的通用接口。后期阶段则会将提升与熟悉和相近的环境绑定。这并非训练错误,而是作用范围发生了变化。

选择标准:

  • 需要通用接口——选择早期阶段;
  • 需要适应目标世界——选择后期阶段;
  • 需要适应遥远世界——早期阶段无法维持迁移效果。

continued pre-training 的局限

作者指出了模仿学习的局限,以及遥远世界中的差距依然存在。根据他们的结论,通用具身智能体需要在 CPT 之外加入更具实质性的训练阶段。CPT 能带来有竞争力的表现,但无法弥合所有层级的迁移差距。

这项研究中的模型在游戏 3D 世界专用模型和前沿模型中具有竞争力。它们在实时运行模式下表现更佳。这些结果并未消除遥远世界中的差距,而是界定了 CPT 的适用范围。

选择标准:

  • 通用智能体——规划 CPT 以外的训练阶段;
  • 遥远世界——不要将 CPT 视为最终方案;
  • 与训练世界相近的世界——CPT 仍是有效的训练阶段。

常问问题