3D Humans from images and videos

What this tool is

3D Humans from images and videos is a neural network designed for automatic reconstruction of three-dimensional human models from regular photos and video recordings. المهمة الرئيسية للأداة هي تحويل الصور الثنائية الأبعاد إلى نماذج رقمية ضخمة يمكن استخدامها في المزيد من العمل تعتمد التكنولوجيا على رؤية الحاسوب و خوارزميات تعلم الآلات التي تحلل شكل الشخص ونسبه وطرحه

كيف تعمل التكنولوجيا

مبدأ تشغيل الشبكة العصبية يقوم على تحليل البيانات البصرية. نقط الجسد الرئيسية مستخرجة من صورة المصدر أو الفيديو، وضعية الشخص مصممة، بناءاً على هذه البيانات، الشبكة العصبية تُبني مشهداً ثلاثي الأبعاد يتّبع مخروط الجسم. والهدف من هذه الأداة هو معالجة المشاهد التي يوجد فيها أشخاص متعددون - ويعترف النظام بكل فرد على حدة، ويبني نموذجا مستقلا للثلاثة دال بالنسبة لهم. وهذا يضعه بعيدا عن الأدوات التي تعمل مع غرض واحد فقط في الإطار.

3D Humans from images and videos characteristics

Characteristic Value
Purpose
Input data type , Photos, video recordings
عدد الأشخاص في الإطار of متعددون، مجهزون في وقت واحد
نموذج التوزيع
مناطق التطبيق
استمارة النواتج

من هو 3D البشر من الصور والفيديو المناسب؟

المصممون والفنانين 3D

وستكون هذه الأداة مفيدة للمهنيين الذين يخلقون مواقع رقمية ويحتاجون إلى الحصول بسرعة على نماذج بشرية ضخمة. بدلاً من النموذج اليدوي من الخدش يمكن للمصمم أن يستخدم النتيجة الجاهزة للشبكة العصبية كقاعدة لمزيد من الصقل وهذا أمر له أهمية خاصة بالنسبة للفنون المفاهيمية خلق البيئة والرسم الأولي

أخصائيو التقدير ومطورو الألعاب

بالنسبة للوحوش، من المهم الحصول بسرعة على نموذج القاعدة مع النسب الصحيحة ثم وضع التصلب والتقدير. In the gaming industry, such tools allow creating NPCs or background characters based on real people. فالفيديو كمصدر بيانات يمكّن من استخلاص الحركة، ويوسع إمكانيات خلق تسلسلات محاكاة.

كيف تستخدم 3D البشر من الصور والفيديو؟

تدفق العمل العام

دليل خطى دقيق ليس مفصّلاً في المصادر المفتوحة لأن نموذج توزيع الأداة غير محدد غير أنه بالنظر إلى المنطق النموذجي للخدمات المماثلة، فإن العملية تشمل عادة المراحل التالية. يحتاج المستخدم إلى تحميل صورة أو ملف فيديو يتضمن صورة لشخص أو مجموعة من الناس. The system automatically processes the frames and outputs three-dimensional models that can be exported to third-party software for further editing.

توصيات بيانات المدخلات

للحصول على نتائج أكثر دقة، من المهم استخدام المصادر بإضاءة جيدة وصورة واضحة للشخص. كلما تحسنت الحالة وتجمعات الجثث مرئية كلما كانت الشبكة العصبية أكثر دقة يمكن أن تحدد شكل النموذج عندما يعمل بالفيديو، يوصى بأن تظل الشخصية في الإطار معظم الوقت و زاوية الكاميرا ثابتة أو تتغير بسلاسة.

السمات الرئيسية لـ 3D البشر من الصور والفيديو

إعادة البناء من الصور

الشبكة العصبية يمكنها صنع نموذج 3D من صورة واحدة ويحلل الخوارزمية الإطار المتلقاة، ويقدّر نسب الجسم ويطرحه، ثم يولّد ثغرة ثلاثية الأبعاد، وهذه السمة ملائمة عند العمل مع محفوظات أو أطر الصور من التسجيلات القديمة بالفيديو.

إعادة البناء من الفيديو

ويتم تجهيز الفيديو حسب الإطار أو باستخدام المعلومات المتعلقة بالتيار. الشبكة العصبية تتعقّب التغييرات في وضع شخص ما وحركته، مما يتيح نماذج أكثر دقة وتفصيلا 3D. أشكال الفيديو مفيدة عندما تحتاج لالتقاط شخص في الحركة.

المعالجة المتزامنة لعدة أشخاص

ومن السمات الرئيسية أن عدداً تعسفياً من الشخصيات يمكن أن يكون موجوداً في صورة واحدة أو في شريط فيديو واحد. وتحدد الشبكة العصبية كل فرد على حدة وتولد نموذجا منفصلا لكل فرد، دون اختلاط البيانات بين الناس. هذا يوفر الوقت عندما يخلق مشاهد جماعية

رسوم 3D Humans from images and videos

سرعة النتائج

ويستغرق إنشاء نموذج ثلاثي الأبعاد باستخدام الأساليب التقليدية ساعات أو حتى أيام عمل يدوي. ويؤدي استخدام شبكة عصبية إلى تقليص هذه العملية إلى التجهيز التلقائي، وهو أمر أسرع بكثير. وهذا يساعد على تسريع خط أنابيب الإنتاج في الأستوديو.

العمل مع مجموعات الناس

ويعد تجهيز المجموعات ميزة تنافسية كبيرة. لا يحتاج المستعمل لقطع الصورة و تجهيز كل شخص على حدة النظام يفعل كل شيء في تمرير واحد هذا ملائم لمشاهد الفريق الصور الجماعية ومشاهد الحشد في الأفلام أو الألعاب

مرونة بيانات المدخلات

تعمل الأداة مع كل من الصور ومواد الفيديو. This gives professionals flexibility: they can use still frames from existing video archives or specially shot content to get the desired pose or action.

Disadvantages of 3D Humans from images and videos

معلومات محدودة عن المنتجات

بما أن نموذج التوزيع مسمّى بـ"غير معروف" فلا توجد معلومات دقيقة عن متطلبات النظام، أو حدود حل المصدر، أو مستوى تفاصيل النماذج الناتجة. من الصعب على المستخدمين أن يقيّموا مسبقاً ما إذا كانت الأداة ستلائم كومتهم التقنية

سياسة الوصول غير المعروفة

ومن غير الواضح ما إذا كانت الشبكة العصبية تعمل من خلال واجهة API، البرمجيات المحلية، أو خدمة الشبكة السحابية. This complicates initial integration. There is also no data on the output model formats (OBJ, FBX, GLTF, etc.), which makes it difficult to plan a pipeline integrated with other software.

ما هي المشاكل التي حلها 3D البشر من الصور والفيديو؟

الغرض الرئيسي من الأداة هو لتشغيل عملية رقمنة الناس وهو يتناول الحاجة إلى إيجاد نماذج قياسية الحجم دون استخدام ماسحات ثلاثية التكلفة. وبدلاً من إطلاق النار بمعدات متخصصة، تكون الكاميرا المنتظمة كافية.

In design, a human model is used as a mannequin for trying on clothing, check lighting, or scene composition. وفي تقدير، يصبح نموذج الـ 3D قاعدة لوضع هيكل هيكلي ومزيد من محاكاة الشخصية. In the gaming industry, developers can quickly populate levels with secondary characters. ويمكن استخدام هذه الأداة أيضاً لأغراض التعليم حيث يلزم دراسة هيكل الجسم، أو في بيئة ملائمة للإنسان.

طباعة 3D Humans from images and videos

التكلفة الدقيقة لاستخدام الشبكة العصبية غير معروفة. ولا تتضمن البيانات المفتوحة أي معلومات عن خطط التسعير، أو مدى توافر فترة تجريبية مجانية، أو نموذج الدفع - سواء كانت مدفوعات الاشتراك أو دفعة واحدة. يُنصَح للمستعملين المحتملين بأن يتبعوا التحديثات الرسمية وإطلاق سياسة تسعير المطورين حتى تصبح هذه البيانات متاحة، من المستحيل تحديد الجدوى الاقتصادية لإدماج الأداة في عملية الإنتاج.

مدة استخدام 3D Humans from images and videos

ولم يتم الكشف عن أحكام الترخيص الحالية وقواعد استخدام الخدمات. ونظرا لنموذج التوزيع غير المعروف، لا يوجد وضوح بشأن ما إذا كان الاستخدام التجاري للنماذج الناتجة مسموحا به، وما إذا كانت هناك قيود على حجم البيانات المجهزة، أو عدد العمليات لكل وحدة من الوحدات الزمنية. ومن غير المعروف أيضا حيث يتم تخزين الصور والفيديو المحملة على المستعملين، وما إذا كانت سياسات الخصوصية تنطبق على المحتوى المحمل. قبل بدء العمل مع الأداة، انها تستحق الانتظار الوثائق الرسمية مع شروط الاستخدام.

توافر 3D بشر من الصور والفيديو

بما أن نموذج توزيع موقع المصدر مسمّى على أنه "غير معروف" معلومات عما إذا كانت الأداة متاحة لجمهور واسع ومن غير المعروف ما إذا كان يمكن تحميلها، مشترك في أو استخدم على الانترنت ومن غير الواضح أيضا أي منابر الشبكة العصبية متاحة على - سواء كان يعمل في بروزر، يتطلب تركيب برامجيات العملاء، أو يجري فقط من خلال السحب APIs. كما أن الردود على الأسئلة المتعلقة بالقيود الإقليمية أو متطلبات التسجيل مفقودة. The project may be at the research prototype stage with restricted access.

How 3D Humans from images and videos differ from alternatives

الفرق الرئيسي للأداة هو إعادة بناء العديد من الناس في الإطار العديد من الحلول المتنافسة مصممة لمعالجة هدف واحد: أنها تعمل بشكل صحيح عندما يكون هناك شخص واحد في الإطار ولكن تفشل في مواقع جماعية أو تحتاج إلى استخراج متتابع للناس. وتعترف هذه الأداة على الفور بجميع تلك الحاضرات وتنتج مجموعة من النماذج الجاهزة.

وثمة فرق إضافي يتمثل في دعم شكلي البيانات - الصور الثابتة ومجاري الفيديو. ويوسع تنوع بيانات المدخلات سيناريوهات الاستخدام ويجعل الشبكة العصبية حلا أكثر مرونة. وعادة ما تركز هذه الأدوات على الصور أو أشرطة الفيديو؛ فالنهج المشترك أقل شيوعا.

خاتمة ...

3D Humans from images and videos is a promising tool for automatic reconstruction of three-dimensional human models from regular photos and videos. Its main strength is the ability to process multiple people in the frame concur, which is convenient for group scenes. ومجالات التطبيقات الرئيسية هي التصميم والتقدير وصناعة المقامرة. وفي الوقت نفسه، فإن عدم التيقن الكبير بشأن المنتج - وهو نموذج التوزيع غير المعروف، وعدم وجود معلومات التسعير والحد - يفرض قيودا على الاستخدام العملي في سير العمل. الأداة يجب أن تعتبر إضافة محتملة لمجموعة أدوات الأخصائيين 3D لكن القرار النهائي بشأن التبني يجب أن يتم بعد إعلان رسمي من المطورين.