3DreamBooth

3DreamBooth वॉल्यूमेट्रिक ऑब्जेक्ट्स की विशेषता वाले वीडियो बनाने के लिए एक शोध ढांचा है। इसका प्राथमिक लक्ष्य गतिशील वीडियो बनाना है जिसमें विषय गतिविधि और रोटेशन के दौरान अपनी पहचान, बनावट और पहचान को बरकरार रखता है।

उपयोगकर्ता विभिन्न कोणों से समान वस्तु की तस्वीरों के एक सेट के साथ सिस्टम प्रदान करता है। इन छवियों के आधार पर, तंत्रिका नेटवर्क एक वीडियो उत्पन्न करता है जिसमें ऑब्जेक्ट सभी ठीक विवरण और ज्यामितीय अखंडता को संरक्षित करते हुए ऑब्जेक्ट चलता है, घूमता है और यथार्थवादी दिखता है।

ढांचे की वास्तुकला में दो प्रमुख घटक होते हैं: 3Dapter दृश्य कंडीशनिंग मॉड्यूल और एक DreamBooth शैली अनुकूलन मॉड्यूल। साथ में, वे अपने अस्थायी गतिशीलता से ऑब्जेक्ट की स्थानिक विशेषताओं को अलग करना संभव बनाते हैं, बिना विरूपण के स्थिर परिणाम सुनिश्चित करते हैं।

परियोजना को संयुक्त रूप से योन्से विश्वविद्यालय और सनगकींकवान विश्वविद्यालय के शोधकर्ताओं द्वारा विकसित किया गया था। वर्तमान में न्यूरल नेटवर्क का कोड प्रकाशन की तैयारी में है।

3DreamBooth विशेषताएं

कौन है 3DreamBooth?

एआई शोधकर्ता

चूंकि 3DreamBooth वीडियो पीढ़ी के साथ 3D ज्यामिति के संयोजन की दबाने वाली चुनौती को संबोधित करता है, यह वैज्ञानिक और छात्रों के लिए सामग्री निर्माण, बहुमॉडल सीखने और कंप्यूटर दृष्टि के लिए तंत्रिका नेटवर्क विधियों का अध्ययन करने के लिए उपयोगी होगा।

3D मॉडलिंग और वीडियो विशेषज्ञ

उपकरण गतिशील वीडियो अनुक्रमों में फोटो के स्थिर सेट को जल्दी से बदल सकता है। यह प्रस्तुति सामग्री बनाने के लिए उपयोगी हो सकता है, 3 डी मॉडल का पूर्वावलोकन कर सकता है, या एनीमेशन प्रोटोटाइप विकसित कर सकता है।

डिजिटल सामग्री निर्माता

उत्पाद फोटोग्राफी के साथ काम करने वाले डिजाइनरों और कलाकारों को पूर्ण वीडियो शूट करने के बिना प्रस्ताव में एक उत्पाद प्रदर्शित करने की आवश्यकता हो सकती है। 3DreamBooth वस्तु के विस्तार और मात्रा को संरक्षित करते समय इस क्षमता को प्रदान करता है।

3DreamBooth का उपयोग कैसे करें

इनपुट डेटा तैयार करना

शुरू करने के लिए, आपको अलग-अलग कोणों से वस्तु की तस्वीरों का एक सेट इकट्ठा करना होगा। यह महत्वपूर्ण है कि वस्तु पूरी तरह से दिखाई दे रही है और शॉट्स अपने सभी पक्षों को कवर करती है। यह सेट मॉडल प्रशिक्षण के लिए आधार के रूप में काम करेगा।

रनिंग जनरेशन

फोटो तैयार करने के बाद, सिस्टम ने पीढ़ी प्रक्रिया शुरू की। प्रशिक्षण कुशल है - यह पूर्ण वीडियो के बजाय एक फ्रेम पर चलता है, जो कम्प्यूटेशनल आवश्यकताओं को कम करता है। आउटपुट एक वीडियो है जिसमें ऑब्जेक्ट घूमता है और चलता है।

टूल की रिलीज के लिए प्रतीक्षा करना

वर्तमान में, रूपरेखा अभी तक पूरी तरह से आम जनता के लिए खुला नहीं है। डेवलपर्स ने अनुमान कोड, 3Dapter मॉड्यूल भार, 3D-CustomBench बेंचमार्क डेटासेट और प्रशिक्षण कोड जारी करने की योजना बनाई है। निर्देश और स्रोत फाइलें परियोजना के गिटहब पृष्ठ पर दिखाई देगी।

3DreamBooth की मुख्य विशेषताएं

फोटोग्राफ के एक सेट से वीडियो जनरेशन

सिस्टम इनपुट के रूप में विभिन्न कोणों से एक वस्तु के कई शॉट्स लेता है और एक वीडियो अनुक्रम उत्पन्न करता है जिसमें ऑब्जेक्ट फ्रेम में गति — चलती, मोड़ने और "जीवन आने" में है।

वस्तु पहचान संरक्षण

एल्गोरिथ्म उच्च बनावट विस्तार सुनिश्चित करता है और ज्यामितीय विरूपण को रोकता है। परिणामस्वरूप वीडियो में, वस्तु पूरी तरह से पहचानने योग्य और सुसंगत रहती है।

मल्टी-व्यू ध्यान

3Dapter मॉड्यूल साझा वजन के साथ बहु-दृश्य ध्यान तंत्र को नियोजित करता है। यह मॉडल को तेजी से प्रशिक्षित करने और बेहतर सतह के विवरण को संरक्षित करने में मदद करता है।

3DreamBooth के लाभ

• मात्रा और बनावट को संरक्षित करता है: ऑब्जेक्ट सही स्थानिक ज्यामिति के साथ यथार्थवादी दिखते हैं।
• कुशल प्रशिक्षण: सिस्टम एक फ्रेम पर ट्रेन करता है, जो भारी वीडियो डेटा को संसाधित करने की आवश्यकता को समाप्त करता है।
• उच्च वस्तु पहचान: परिणामस्वरूप वीडियो विभिन्न कोणों में स्थिर और दृश्य कलाकृतियों से मुक्त हैं।
• सिनेमाई परिणाम: उत्पन्न वीडियो उच्च गुणवत्ता और एकजुट दिखते हैं।
• मुफ्त पहुंच: मॉडल को एक मुक्त मॉडल के तहत वितरित किया जाता है।

3DreamBooth के नुकसान

• अभी तक प्रकाशित नहीं: वर्तमान में यह ढांचा जारी करने की तैयारी में है, इसलिए इसे अभी तक स्वतंत्र रूप से इस्तेमाल नहीं किया जा सकता है।
• सटीक विनिर्देशों के साथ कोई सार्वजनिक उदाहरण नहीं: अंतिम प्रदर्शन, GPU आवश्यकताओं और गुणवत्ता मीट्रिक कोड और बेंचमार्क जारी होने के बाद दिखाई देंगे।
• इनपुट/आउटपुट प्रारूप पर कोई जानकारी नहीं: छवियों और मॉडल सेटिंग्स के लिए सटीक आवश्यकताओं को अभी तक खुलासा नहीं किया गया है।

3DreamBooth Solve क्या समस्या है?

3DreamBooth एक जटिल कार्य के लिए डिज़ाइन किया गया है - वस्तु के आकार को खोने के बिना स्थिर छवियों को गतिशील वीडियो दृश्य में स्थानांतरित करना। ढांचा स्थानिक और अस्थायी घटकों को अलग करके गति के दौरान ज्यामिति को संरक्षित करने की समस्या को हल करता है। यह मॉडल को यह समझने की अनुमति देता है कि ऑब्जेक्ट पूरी तरह से कैसे दिखता है और फिर इसे विभिन्न पदों में प्रस्तुत करता है।

टूल स्थिरता की समस्या को भी संबोधित करता है: जब कोण बदल जाता है तो ऑब्जेक्ट अपने अनुपात या रंग को नहीं बदलता है। यह डेमो वीडियो, रैपिड एनिमेशन प्रोटोटाइप और अनुसंधान कार्यों के लिए उपयुक्त बनाता है।

3DreamBooth मूल्य निर्धारण

उपयोग की सटीक लागत का खुलासा नहीं किया गया है। चूंकि मॉडल को मुफ्त (वितरण मॉडल: मुफ्त) के लिए वितरित किया जाता है, इसलिए कोड प्रकाशित होने के बाद टूल तक बुनियादी पहुंच संभव नहीं होगी। हालांकि, कंप्यूटिंग लागत (जब इसे स्वतंत्र रूप से चल रहा है) उपयोगकर्ता के हार्डवेयर पर निर्भर करेगा। परियोजना की आधिकारिक रिलीज के बाद सटीक मूल्य निर्धारण और शर्तों की घोषणा की जाएगी।

3DreamBooth के लिए उपयोग की शर्तें

उपयोग की आधिकारिक शर्तों को अभी तक घोषित नहीं किया गया है, क्योंकि परियोजना प्रकाशन की तैयारी में है। यह ज्ञात है कि स्रोत कोड और मॉडल भार एक गिटहब भंडार में खुला स्रोत होने की योजना बनाई गई है। मॉडल को अकादमिक और गैर-वाणिज्यिक उपयोग के लिए एक खुला लाइसेंस के तहत वितरित किया जाएगा, लेकिन सटीक लाइसेंस पाठ रिलीज के साथ दिखाई देगा।

3DreamBooth की उपलब्धता

3DreamBooth परियोजना दो दक्षिण कोरियाई विश्वविद्यालयों में बनाई गई एक शैक्षणिक कार्य है। वर्तमान में, उपकरण तक पहुंच सीमित है: कोड प्रकाशन के लिए तैयार किया जा रहा है। डेवलपर्स निम्नलिखित सामग्रियों तक खुली पहुंच प्रदान करने की योजना बना रहे हैं:

• प्रमाणन:
• पूर्व प्रशिक्षित 3Dapter मॉडल वजन;
• गुणवत्ता मूल्यांकन के लिए 3D-CustomBench बेंचमार्क;
• प्रयोग को सुधारने के लिए प्रशिक्षण कोड।

परियोजना के गिटहब पेज पर सभी अतिरिक्त जानकारी पोस्ट की जाएगी।

कैसे विकल्प से 3DreamBooth Differs

3DreamBooth का मुख्य अंतर इसके प्रशिक्षण दृष्टिकोण है। पूर्ण वीडियो डेटा का उपयोग करने के बजाय, जिसके लिए महत्वपूर्ण कंप्यूटिंग पावर की आवश्यकता होती है, मॉडल एक फ्रेम पर ट्रेन करता है। यह प्रक्रिया को सरल बनाता है और एक ठोस 3D पूर्व की अनुमति देता है - वस्तु की मात्रा और संरचना की आंतरिक समझ।

दूसरा मुख्य अंतर 3Dapter मॉड्यूल है, जो ठीक बनावट को संरक्षित करने के लिए जिम्मेदार है। साझा वजन और ड्रीमबोथ शैली अनुकूलन के साथ बहु-दृश्य ध्यान का संयोजन गति से ज्यामिति को अलग करना संभव बनाता है। नतीजतन, वीडियो में ऑब्जेक्ट किसी भी कोण पर अपनी पहचान और मात्रा को बनाए रखते हैं।

यह हाइब्रिड दृष्टिकोण भारी वीडियो डेटासेट के साथ काम करने की आवश्यकता के बिना सिनेमाई और स्थिर परिणाम प्रदान करता है, जो इस क्षेत्र में कई मौजूदा समाधानों के अलावा ढांचे को सेट करता है।

निष्कर्ष

3DreamBooth तीन आयामी वस्तुओं के साथ वीडियो बनाने के लिए एक आशाजनक अनुसंधान ढांचा है। यह एक कुशल एकल-फ्रेम प्रशिक्षण विधि प्रदान करके गतिशील गति के दौरान ज्यामिति और बनावट को संरक्षित करने की महत्वपूर्ण समस्या को हल करता है। हालांकि कोड अभी तक प्रकाशित नहीं किया गया है, परियोजना अस्थायी गतिशीलता से स्थानिक रूप को अलग करने के लिए अपने दृष्टिकोण के लिए महत्वपूर्ण ब्याज धन्यवाद पैदा कर रही है। जब कोड जारी हो जाता है और सभी घटक उपलब्ध हो जाते हैं, तो उपकरण जेनेरेटरी एआई और 3 डी सामग्री के क्षेत्र में शोधकर्ताओं और डेवलपर्स के लिए उपयोगी हो जाएगा।