CoDA

CoDA 神经网络描述

CoDA是一种实验性的AI模型,旨在生成角色与周围物体相互作用的动画. 与创造身体运动或单独手动的古典系统不同,CoDA将这些过程统一为一个系统.

该模型的关键特征是使用三个扩散组件:一个处理角色的躯干和腿部,而另外两个处理左右手部. 这种分离使得手与物体接触时能够有很高的精确度. 为了确保手指正确抓住一个杯子,门柄,或盒子,使用BPS(Basis Point Set)——物体几何学的统一表示.

CoDA可以通过手定位数据单独重建全身姿势,简化摩卡普数据的工作. 模型还可以结合行走和操纵——一个角色可以同时携带一个物体,自然移动. 这是一个技术工具,旨在创建现实互动动画,而无需手工逐帧调整.

CoDA 特征

CoDA适合谁?

3D 字符开发者和动画师

CoDA面向专业人士为游戏,VR项目和动画电影创作人物. 该工具处理工作最劳力密集的部分——手工调整 手目标联系人。 开发者只需要在文本中描述动作,模型将生成一个与对象互动的全体动画计数.

研究人员和技术专家

由于CoDA作为开源在GitHub上发行,所以它是 研究者对计算机图形和机器学习感兴趣。 该模型允许实验传播方法来进行动画和研究协调身体和手动的方法.

怎样使用CoDA?

作为输入的文本提示

与CoDA合作是基于对动作的文本描述. 用户制定一个提示——例如"一个角色从桌子上拿起杯子"或"打开一扇门"——模型生成一个完整的身体动画,包括手指. 文本接口可以快速地通过移动变换而无需写入代码.

技术进程

模型处理描述并生成一系列姿势,其中躯干,腿和手被协调. 身体的单独扩散组件和每只手一起工作,而BPS代表则确保与身体的精确手指接触。 对象的表面。 然后可以将结果导出为标准3D格式,用于游戏引擎或动画包.

CoDA 关键特性

• 从文本描述中生成对象交互动画. 该模型需要文本提示,并创建接触物理的全体动画核算.
• 身体和每只手有三个扩散组件。 躯干和四肢的分离处理提高了手和手指运动的现实性.
• 通过BPS统一代表. 确保与物体精确的手指接触,而不论其形状和大小.
• 全身仅靠手部数据进行重建。 在只知道手动时,允许完成躯干和腿动画.
• 将行走与物体操纵相结合. 一个字符可以在持有或与对象互动时自然移动.

CoDA的好处

• GitHub免费开放访问. 源代码可供研究,修改,并用于自己的项目.
• 身体精确的手和手指运动. 具有单独手构件的扩散方法准确地传达了与物体的手指接触.
• 自动同步运动和手动. 该模型本身协调步骤和操纵,取消了人工动画调整.
• 取消人工调理. 传统上,动画师花费大量时间纠正联系人;这里这一过程是自动化的.

CODA的缺点

该模型的局限性与其实验状态有关. 首先,CoDA并不是一种成品商业产品:GitHub的研究代码要求用户的技术专长进行安装和融入工作流程. 第二,生成质量直接取决于即时文本的措辞——复杂或模棱两可的行动描述会导致更不准确的结果. 此外,关于支持导出格式和与特定3D编辑器兼容性的信息不会在源数据中披露.

CoDA解决什么问题?

• 创建令人信服的对象交互动画 。 该模型适合一个角色拿起杯子,打开一个门,携带一个盒子,或者用物体进行其他动作的场景.
• 从文字描述中产生自然的全身运动. 用户用文字描述动作,模型构建了完整的动画——从身体姿势到手指姿势.
• 身体通过手位置数据进行重建。 在手追踪比全体数据更准确时,这个特性在与运动捕捉工作时有用.
• 与物体操纵同步行走. 该模型解决了将运动与同时期的物体相互作用结合起来的问题,这经常给古典动画管道造成困难.

CoDA 定价

CoDA完全免费发放. 该模型没有付费等级、订阅或隐性收费。 源代码在GitHub上可公开获取,允许该工具在不花费资金的情况下使用.

CoDA 使用条件

该工具作为开源在GitHub上发布. 用户可以自由下载,学习,修改模型,也可以使用. 他们自己的发展。 具体许可证没有在源数据中说明,但寄存器的开放性质意味着按照标准的开源项目规则免费用于研究和商业目的.

CoDA 可用性

源代码被托管在GitHub上,可供所有人下载. 然而,重要的是要注意到CoDA是开发者的工具,因此运行它需要建立环境和了解模型的代码.

CoDA与替代品的区别

CoDA的主要区别在于它的建筑解决方案有三个独立的扩散组件. 大多数相似的模型会整体生成动画,从而产生近似手和手指与物体的相互作用. CoDA分别处理身体,左手和右手,实现精确的手指接触.

第二个显著区别是使用BPS来统一对象表示. 这个技术解决方案确保了无论物体形状如何的一致的接触质量:一个咖啡杯,门把手,和纸板盒都得到同样正确的处理.

第三个区别是模型单靠手数据就能重建全身姿势的能力. 这是商业动画工具中很少发现的一个特征. 最后,CoDA可以将运动和操纵结合起来,而许多基因模型可以产生运动或物体相互作用,但不能同时两种过程.

结论

CoDA是一种开源研究模型,解决了程序动画中最具挑战性的问题之一——现实的手物交互. 由于三个扩散成分和BPS的表示,该模型实现了整体基因方法的精准化而无法实现. 该工具在GitHub上是免费和可用的,使其吸引了游戏开发者,VR项目,以及愿意与实验代码合作的动画工作室. CoDA将常规操作自动化——从协调行走与操控到从手数据中重建完整的姿势——减少动画制作时间,开启3D内容自动化的新的可能性.