合成过程中的新命令:人体 3D 动作的多轨时间线

12 十一月 20262 视图

该方法可在合成过程中接收新的文本指令,并允许独立指定彼此重叠的动作时间段。通过区间条件控制和针对身体部位的去噪流程,该方法能够协调身体不同部位的同步运动;作者报告称,在 TimelineMotion 和 MTT 上,与流式基线方案相比,该方法更符合语义和时间约束。

合成过程中的新命令:人体 3D 动作的多轨时间线

运动过程中新增指令

交互式应用需要在不中断当前动作的情况下响应新指令。例如,边走路边接听电话。对于人体 3D 运动生成,TimelineControl 方法解决了这一问题。它会在动作持续进行时以流式方式接收指令。

这类场景的关键要求:

  • 在运动开始后添加指令;
  • 当前动作不会停止;
  • 保留新指令的时间边界。

实际选择标准是:是否支持在合成过程中添加指令,而不只是启动阶段支持。

多轨控制的三个要素

TimelineControl 使用面向时间区间的条件控制,以保留指令的时间边界。因果结构化的身体部位表示定义了运动结构。考虑身体部位的去噪流程则协调身体不同区域同时发生的动作。

各要素的作用:

  • 区间条件控制保留时间边界;
  • 身体部位表示将指令与身体区域关联起来;
  • 考虑身体部位的去噪协调并行发生的动作。

实际选择标准是每条指令都具有时间区间和身体部位。缺少这些要素,多轨控制就不符合其所声明的设计。

TimelineMotion 数据集

作者创建了 TimelineMotion 数据集,其中包含重叠的指令区间和身体部位标注。这种结构用于检验同时执行多条指令的能力。

该数据集的作用:

  • 重叠区间展示系统如何同时处理多条指令;
  • 身体部位标注将指令与身体区域关联起来;
  • 数据可用于评估系统是否遵守时间边界。

实际选择标准是数据集中存在区间重叠。顺序执行的指令无法对多轨控制构成压力。

在 TimelineMotion 和 MTT 上的结果

在 TimelineMotion 和 MTT 上进行的实验表明,该方法提升了语义一致性,也提高了对时间约束的遵循程度。研究将其与经过评估的流式基线模型进行了比较,其中包括使用同一数据重新训练的模型。

作者确认的内容:

  • 消融研究支持所提出的设计;
  • 人类评估支持该设计;
  • 展示了空间条件控制的演示;
  • 展示了人形机器人的运动执行。

实际选择标准是从两个维度进行评估:指令含义和时序。结果中给出了这两项指标。

论文和相关资源状态

论文《Streaming Multi-Track Timeline Control for 3D Human Motion Generation》以 arXiv:2610.03873 发布。作者于 2026年10月2日提交 v1,并于 2026年10月19日发布最新版(v2)。

关键信息:

  • 标识符:arXiv:2610.03873;
  • v1:2026年10月2日;
  • v2:2026年10月19日;
  • 相关资源:作者将发布代码、数据和模型。

作者包括 Yangsong Zhang、Anujith Muraleedharan、Rikhat Akizhanov、Gül Varol、Fabio Pizzati、Ivan Laptev。实际选择标准是代码、数据和模型是否可用。

常问问题

合成过程中的新命令:人体 3D 动作的多轨时间线