3DreamBooth

3DreamBooth is a research framework for generating videos featuring volumetric objects. ويتمثل هدفها الرئيسي في إنشاء أشرطة فيديو دينامية يحتفظ فيها هذا الموضوع بهويته ومنسوجاته وإدراكه أثناء التنقل والتناوب.

ويزود المستخدم النظام بمجموعة من الصور لنفس الجسم من زوايا مختلفة. واستنادا إلى هذه الصور، تولد الشبكة العصبية شريط فيديو يتحرك فيه الجسم ويتناوب ويبدو واقعيا مع الحفاظ على جميع التفاصيل الدقيقة والسلامة الجغرافية.

هيكل الإطار يحتوي على عنصرين رئيسيين: وحدة التكييف البصري لـ 3Dapter و وحدة التكييف الأمثل لطريقة الأحلام معاً، يجعلون من الممكن فصل الخصائص المكانية للجسم من دينامياته الزمنية، ضمان نتائج مستقرة بدون تشوهات.

وقد اشترك في إعداد المشروع باحثون من جامعة يونسي وجامعة سونغ كيونكوان. رمز الشبكة العصبية حالياً جاهز للنشر

3DreamBooth Features

من هو 3دريم بوث؟

AI Researchers

وبما أن 3DreamBooth تتصدى للتحدي الملح المتمثل في الجمع بين 3D Geometry وتوليد الفيديو، سيكون من المفيد للعلماء والطلاب الذين يدرسون أساليب الشبكة العصبية من أجل تكوين المحتوى، والتعلم المتعدد الوسائط، والرؤية الحاسوبية.

3D Modeling and Video Specialists

فالأداة تجعل من الممكن تحويل مجموعات ثابتة من الصور بسرعة إلى سلسلة فيديو دينامية. ويمكن أن يكون ذلك مفيداً لوضع مواد عرضية، أو استعراض نماذج ثلاثية الأبعاد، أو وضع نماذج تقديرية.

الخلاء الرقمي للمحتوى

قد يحتاج المصممون والفنانين الذين يعملون في تصوير المنتجات إلى عرض منتج قيد التنفيذ دون إجراء تصوير كامل للفيديو. 3دريم بوث يوفر هذه القدرة بينما يحافظ على تفاصيل الجسم وحجمه

كيفية استخدام 3 دريام بوث

إعداد بيانات المدخلات

لكي تبدأي، عليكِ أن تجمعي مجموعة من صور الجسم من زوايا مختلفة ومن المهم أن يكون الجسم واضحا تماما وأن تغطي الطلقات جميع جوانبها. وستستخدم هذه المجموعة كأساس للتدريب النموذجي.

الجيل الهارب

وبعد إعداد الصور، يبدأ النظام عملية الجيل. فالتدريب يتسم بالكفاءة - فهو يجري على إطار واحد وليس على أشرطة فيديو كاملة، مما يقلل من الاحتياجات الحاسوبية. الناتج هو فيديو يتناوب فيه الجسم ويتحرك

ننتظر إطلاق سراح (تول)

وفي الوقت الراهن، لم يكن الإطار مفتوحاً تماماً أمام عامة الجمهور. ويخطط المطورون لإطلاق مدونة الاختبارات، وأثقال الوحدات المكونة من 3Dapter، ومجموعة البيانات المرجعية من 3D-CustomBench، ورمز التدريب. التعليمات وملفات المصدر ستظهر على صفحة المشروع

Key Features of 3DreamBooth

أجيال الفيديو من مجموعة الصور

النظام يأخذ عدة طلقات من جسم من زوايا مختلفة كمدخلات وينتج سلسلة فيديو

الحفاظ على هوية الأجسام

وتكفل الخوارزمية درجة عالية من التفاصيل النسيجية وتمنع التشوهات الأرضية. وفي أشرطة الفيديو الناتجة عن ذلك، يظل الجسم معروفا ومتسقا في جميع أنحاء العالم.

انتباه متعدد الأطراف

ويستخدم نموذج " 3Dapter " آلية متعددة الاستعراضات ذات الأوزان المشتركة. هذا يساعد على تدريب النموذج بشكل أسرع وأفضل الحفاظ على التفاصيل السطحية الجيدة.

3DreamBooth

• الأحجام والنص: الأجسام تبدو واقعية مع الهندسة المكانية الصحيحة.
• التدريب الفعال: The system trains on a single frame, eliminating the need to process heavy video data.
• درجة عالية من الإدراك: The resulting videos are stable and free of visual artifacts across different angles.
• نتائج السينما: إنتاج أشرطة فيديو تبدو عالية الجودة ومتماسكة.
• حرية الوصول: يوزع النموذج تحت نموذج حر.

مخالفات لـ 3 ديرام بوث

• المدونة لم تنشر بعد: The framework is currently in preparation for release, so it cannot be used independently yet.
• No public examples with precise specifications: الأداء النهائي، وشروط تعميم مراعاة المنظور الجنساني، ومقاييس الجودة ستظهر بعد إصدار المدونة والمقياس المرجعي.
• No information on input/output format: لم يتم بعد الكشف عن المتطلبات الدقيقة للصور والإطارات النموذجية.

ما هي المشاكل التي تصيب (دريم بوث سوليف)؟

3DreamBooth مصمم لمهمة معقدة - نقل الصور الثابتة إلى مشهد فيديو ديناميكي دون فقدان شكل الجسم. ويحل الإطار مشكلة الحفاظ على الهندسة أثناء الحركة عن طريق فصل المكونات المكانية والزمنية. وهذا يسمح للنموذج بفهم كيف يبدو الجسم ككل ثم يجعله في مواقع مختلفة.

The tool also address the problem of consistency: the object does not change its proportions or coloring when the angle changes. وهذا يجعلها مناسبة لتوليد أشرطة فيديو تجريبية، ونماذج تقديرية سريعة، ومهام بحثية.

3DreamBooth Pricing

ولم يتم الكشف عن التكلفة المحددة للاستخدام. وبما أن النموذج يوزع مجانا (نموذج التوزيع: مجانا)، فمن المرجح أن يكون الوصول الأساسي إلى الأداة مجانا بعد نشر المدونة. لكن التكاليف الحسابية (عندما تديرها بشكل مستقل) ستتوقف على معدات المستخدم سيعلن عن تسعير و شروط بعد إطلاق المشروع الرسمي

المصطلحات المستخدمة في 3DreamBooth

ولم يُعلن بعد عن المصطلحات الرسمية للاستخدام، لأن المشروع في طور الإعداد للنشر. ومن المعروف أن رمز المصدر والوزن النموذجي يُعتزم أن يكونا منفتحين المصدر في مستودع جيت هوب. ومن المرجح أن يوزع النموذج تحت ترخيص مفتوح للاستخدام الأكاديمي وغير التجاري، ولكن نص الترخيص الدقيق سيظهر مع الإفراج عنه.

توافر 3 ديرام بوث

The 3DreamBooth project is an academic work created at two South Korean universities. وفي الوقت الراهن، يكون الوصول إلى الأداة محدودا: ويجري إعداد المدونة للنشر. ويخطط المطورون لتوفير إمكانية الوصول المفتوحة إلى المواد التالية:

• Inference code;
• (أ) الأوزان النموذجية التي تم تدريبها مسبقاً على ثلاثة أقراص؛
• (أ) المعيار المرجعي لتقييم الجودة الذي يتكون من 3D-CustomBench؛
• رمز التدريب لإعادة إنتاج التجربة

كل المعلومات الإضافية ستنشر على صفحة المشروع

How 3DreamBooth Differs from Alternatives

والفرق الرئيسي في 3دريام بوث هو نهجه التدريبي. وبدلاً من استخدام بيانات الفيديو الكاملة، التي تتطلب قدراً كبيراً من القوة الحاسوبية، يتدرب النموذج على إطار واحد. هذا يبسط العملية ويسمح بـ 3D متينة مسبقاً فهم داخلي لحجم الجسم وهيكله

والفرق الرئيسي الثاني هو وحدة 3Dapter، التي هي مسؤولة عن الحفاظ على النص الدقيق. ومن شأن الجمع بين الاهتمام المتعدد الجوانب والوزنات المشتركة والتحسين الأمثل لنسق الأحلام أن يجعل من الممكن فصل الهندسة عن الحركة. As a result, objects in videos retain their identity and volume at any angle.

This hybrid approach delivers cinematic and stable results without the need to work with heavy weight video datasets, which sets the framework apart from many existing solutions in this field.

خاتمة

3DreamBooth is a promising research framework for generating videos with three-dimensional objects. وهو يحل المشكلة الهامة المتمثلة في الحفاظ على الهندسة والنسيج أثناء الحركة الدينامية عن طريق توفير طريقة فعالة للتدريب في إطار واحد. وعلى الرغم من أن المدونة لم تنشر بعد، فإن المشروع يثير اهتماما كبيرا بفضل نهجه في فصل الشكل المكاني عن الديناميات الزمنية. وبمجرد إصدار المدونة وإتاحتها لجميع المكونات، تصبح الأداة مفيدة للباحثين والمطورين في ميدان المعلومات المسبقة عن علم ومحتويات 3 دال.