通过体素潜在空间控制 3D 模型对称性

26 九月 202612 视图

文章介绍了一种方法,通过变换体素潜变量并在生成步骤中对齐模型预测来实现旋转、镜像或多面体对称性,无需重新训练模型的核心组件。在对 266 个对象的测试中,与几种替代方法相比,该方法减少了指定对称性的违背,同时保持了与原始模型相当的重建质量。

通过体素潜在空间控制 3D 模型对称性

SymTRELLIS 改变了什么

SymTRELLIS 可在基于 TRELLIS.2 的 flow 生成过程中控制 3D 模型的对称性。该方法支持有限点群:旋转群、镜像群和多面体群。

无需重新训练基础 VAE 或 flow 模型。是否适用的实际标准是:是否需要在生成过程中指定模型的对称性。

如何在潜在空间中进行控制

该方法通过可训练的线性算子近似空间变换对体素潜变量的作用。这个轻量级的空间变换潜变量映射器使用常规的非对称 3D 数据进行训练。

在 ODE flow 的每个步骤中,模型都会预测对称等价变换对应的速度。然后,该方法对这些速度取平均——作者将这一过程称为速度对称化(velocity symmetrization)。

这里的关键是在每个生成步骤中取平均,而不是重新训练基础模型。需要使生成结果符合指定对称性时,该方法便很适用。

如何指定对称性

在 SymTRELLIS 中,可以通过两种方式获取对称性规格:

  • 根据 TRELLIS.2 的初始生成结果自动估算;
  • 由用户指定。

所选规格允许有意改变对称阶数,使其超出输入图像所暗示的范围。当所需对称性不能仅由图像决定时,这一点很重要。

结果展示了什么

作者在一个专门挑选的基准测试上验证了该方法,该基准包含 266 个严格对称的物体,涵盖阶数从 2 到 20 的旋转对称性以及多面体群。

比较结果
与 TRELLIS.2、Hunyuan3D-2.1 和 TripoSG 的对称性误差比较SymTRELLIS 大幅降低了所有对称性误差指标
重建精度保持在与基础模型相当的水平

对于需要降低对称性误差,同时又不显著偏离基础模型重建精度的任务而言,这些结果具有重要意义。

选择标准

当目标模型需要具有有限点对称性(旋转、镜像或多面体对称性)时,该方法便适用。其规格可以从初始生成结果中获取,也可以单独指定。

如果需要有意改变相对于输入图像提示的对称阶数,这也属于该方法所述的功能。评估该方法时,应同时考虑两个标准:对称性误差和重建精度。

常问问题

通过体素潜在空间控制 3D 模型对称性