3D Humans from images and videos

这个工具是什么?

3D 来自图像和视频的人类是一个神经网络,旨在从常规照片和视频录音中自动重建三维人类模型. 该工具的主要任务是将二维图像转化为量子数字模型,用于进一步的工作. 该技术基于计算机视觉和机器学习算法,分析一个人的形状,比例,和姿势.

技术如何运作

神经网络的操作原理是基于分析视觉数据. 从源图像或视频中提取关键身体点,确定人物的姿势,并估算其身体参数. 基于这一数据,神经网络构建了一个遵循身体轮廓的三维网格. 该工具旨在用在场的多人处理场景——系统分别识别每个个体,并为他们建立一个独立的3D模型. 这使得它与只使用框架中单个对象的工具相区别.

从图像和视频特性来看的3D人类 ————————————————————————.

• 特征 * * 值 * * * |,|也. 从2D内容重建3D人类模型 输入数据类型 照片、录像
• 框内人数 * * 多人,同时处理 * * * QQ 分发模式 未知QQ 设计、动画、游戏业、3D模特 输出格式 QQ 卷曲模型(3D) QQ

图片和视频中的3D人类是适合谁的?. ————————————————————————————————.

设计师和三维艺术家

该工具对创造数码场景,需要快速获得量子人类模型的专业人士将非常有用. 设计师可以不从零开始手动建模,而是将神经网络的现成结果作为进一步完善的基础. 这与概念艺术特别相关 ,环境创造, 和初步的草图。

QQ 动画专家和游戏开发者

对于动画师来说,必须迅速获得一个具有正确比例的基础模型,然后建立操纵和动画. 在游戏行业中,这种工具允许基于真实人物创建NPC或背景人物. 作为数据源的视频可以实现运动捕捉,扩大创建动画序列的可能性.

如何使用图片和视频中的3D人类?. ————————————————————————.

一般工作流程

由于该工具的发行模式没有定义,所以在开放源代码中未详细列出精确的分步骤指南. 然而,鉴于类似服务的典型逻辑,这一过程通常包括以下阶段. 用户需要上传包含一个人或一群人图像的照片或视频文件. 该系统自动处理可以输出到第三方软件的帧和输出三维模型,供进一步编辑.

输入数据建议

要获得更准确的结果,必须使用照明良好,人物形象清晰的源头. 姿势和身体轮廓越明显,神经网络就越能准确地确定模型的形状. 在与视频合作时,建议角色在大部分时间都保持帧,镜头角度是静态或平稳变化.

图片和视频中3D人类的关键特征 ————————————————————————.

从照片中重建

神经网络可以从单一图像中创建3D模型. 算法分析接收到的帧,估计身体比例和姿势,然后生成三维网格,这个功能在使用旧视频记录的图片档案或帧工作时是方便的.

从视频中重建

视频处理是逐帧进行,或使用流媒体信息。 神经网络跟踪一个人的姿势和动作的变化,从而可以更精确和更详细的3D模型. 视频格式在您需要捕获移动中的人时有用.

• 多人同时处理

一个关键特征是任意的字符数量可以出现在一个单一的图像或视频中. 神经网络单独识别每个个体,并为每个个体生成一个单独的模型,而不将数据混杂于人. 这节省了创建组场景的时间.

图片和视频中3D人类的优点 ——————————————————————————.

成果速度

使用传统方法创建3D模型需要几个小时甚至几天的体力工作. 使用神经网络将这个过程降低为自动处理,这明显更快. 这有助于加快工作室的生产管道.

• 与人群合作

集团加工具有显著的竞争优势. 用户不需要将图像切成部分,逐个处理每个人——系统在单次通过中做一切. 这对团队场景,团体照片,以及电影或游戏中的人群场景来说是方便的.

输入数据不兼容性

该工具使用照片和录像材料。 这使专业人员具有灵活性:他们可以使用现有录像档案或特别拍摄的内容中的静态帧来获得理想的姿势或行动.

图片和视频中3D人类的缺点 ————————————————————————————.

有限产品信息

由于发行模式被标记为"未知",因此没有关于系统要求,源分辨率限制,或所产生模型的详细程度的精确信息. 用户很难事先评估该工具是否适合他们的技术堆栈.

未知的访问策略

不清楚神经网络是通过API接口,本地安装的软件,还是云网服务进行工作. 这使初步整合复杂化。 也没有输出模型格式(OBJ,FBX,GLTF等)的数据,这使得与其他软件集成的管道的规划更加困难.

图片和视频中的3D人类能解决什么问题?. ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————......

工具的主要目的是 使人员数字化的过程自动化。 它解决了不使用昂贵的3D扫描仪而创建量子模型的需要. 正规的照相机不是用专门设备射击,而是足够的。

在设计中,人类模型被用作试穿服装,检查照明,或场景成分的模特. 在动画中,3D模型成为架设骨架和进一步角色动画的基础. 在游戏业中,开发者可以快速地以二级字符填充关卡. 该工具也可以用于教育目的,即需要学习身体结构,或用于人造人造人以适应人类人物的环境。

从图像和视频中为3D人类定价 ————————————————————————.

使用神经网络的确切成本不详. 开放式数据没有关于定价计划、免费试用期的可用性、付款模式——无论是订阅还是一次性付款——的信息。 建议潜在用户跟踪官方更新和发布开发商定价政策. 在获得这些数据之前,不可能确定将该工具纳入生产过程的经济可行性.

图片和视频中3D人类的使用条件 ————————————————————————————.

目前许可证条款和服务使用规则尚未披露。 由于分布模式未知,因此无法确定是否允许商业使用所产生的模型,是否对已处理数据的数量有限制,或者 每单位时间的操作次数。 用户加载的图像和视频存放在何处,隐私政策是否适用于上传内容,也不得而知. 在开始使用工具之前,值得等待带有使用条件的正式文件.

从图像和视频中提供3D人类 ————————————————————————.

由于源头网站的发行模式被标记为"未知",所以没有关于该工具是否可供广大受众使用的信息. 无法下载 订阅 ,或在线使用。 还不清楚神经网络在哪个平台上可用——无论是在浏览器中工作,需要客户端软件安装,还是只通过云API运行. 对区域限制或登记要求问题的答复也缺失。 该项目可能处于研究原型阶段,限制进入。

图片和视频中的3D人类如何与替代品不同 ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————

该工具的关键区别在于同时重建构架中的多人. 许多相互竞争的解决方案被配置来处理单个对象:当帧中有一个人时,它们工作正确,但在组群场景中失败,或者需要连续提取人员. 该工具立即确认所有现成和输出一套现成的模型。

另一个区别是支持两种数据格式——静态图像和视频流. 输入数据的多功能性扩大了使用情景,使神经网络成为一个更加灵活的解决方案. 通常,这种工具侧重于照片或视频;综合方法不太常见。

结论

---

图片和视频中的3D人类是常规照片和视频中三维人类模型自动重建的有希望的工具. 其主要优点是能够同时在帧中处理多个人,这对群场景来说是方便的. 主要应用领域为设计,动画,游戏产业. 同时,围绕产品的显著不确定性——未知的分销模式,缺乏定价和限制信息——对工作流程的实际使用造成了制约. 该工具应被视为对3D专家工具包的潜在补充,但在开发者正式宣布后,应作出最后的通过决定.