Object and person replacer on video

वीडियो पर तंत्रिका नेटवर्क ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता का विवरण

कोर प्रौद्योगिकी

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता एक विशेष एआई उपकरण है जो एक गैर-त्रिअल कार्य को हल करता है: एक व्यक्ति को बदलने या मौजूदा वीडियो फ़ाइल में ऑब्जेक्ट करता है। एक दृश्य या जटिल वीडियो संपादन सॉफ्टवेयर का उपयोग करने के बजाय, उपयोगकर्ता एकल स्थैतिक छवि के साथ तंत्रिका नेटवर्क प्रदान करता है, और एल्गोरिथ्म सीधे वीडियो स्ट्रीम में से एक नए चरित्र या वस्तु को स्थानांतरित करता है।

यह कैसे काम करता है

अंतर्निहित विधि व्यक्त एनीमेशन है। इस दृष्टिकोण में स्रोत वीडियो में तंत्रिका नेटवर्क विश्लेषण आंदोलनों, poses और शरीर विरूपण (संयुक्त बिंदु, अंग कोण) शामिल हैं। इस गति डेटा को तब छवि से नए ऑब्जेक्ट में स्थानांतरित किया जाता है। अनिवार्य रूप से, एक स्थैतिक तस्वीर "जीवन के लिए आता है": यह सभी को दोहराना शुरू कर देता है अपने स्वयं के बनावट, उपस्थिति और अनुपात को संरक्षित करते समय मूल के आंदोलनों। उपकरण Google कोलाब क्लाउड पर्यावरण पर चलता है, जिससे स्थानीय कंप्यूटर संसाधनों का उपयोग किए बिना गणना की जा सकती है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता की विशेषताएं

कौन है ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता वीडियो के लिए उपयुक्त?

वीडियो ब्लॉगर और सामग्री निर्माताओं के लिए

टूल उन लोगों को सूट करता है जो नियमित रूप से सोशल मीडिया और यूट्यूब के लिए वीडियो बनाते हैं। यह आपको एक फ्रेम में वर्णों को बदलने की अनुमति देता है, अपने आप को या किसी अन्य व्यक्ति को बिना किसी रिशूट के वीडियो में जोड़ता है और अप्रत्याशित स्थितियों में अच्छी तरह से ज्ञात व्यक्तित्व या वर्णों को रखकर वायरल सामग्री बनाता है।

डिजाइनरों और एनिमेटरों के लिए

मोशन डिज़ाइन के साथ काम करने वाले पेशेवर जल्दी से ड्राफ्ट एनिमेशन और पूर्वावलोकन बनाने के लिए टूल का उपयोग कर सकते हैं। इसके बजाय मैन्युअल रूप से खरोंच से एक चरित्र को एनिमेशन करने के लिए, आप बस एक छवि प्रदान करते हैं और फिर पेशेवर सॉफ्टवेयर में परिष्कृत किया जा सकता है कि आंदोलनों का एक तैयार अनुक्रम प्राप्त करते हैं।

उत्साही और शुरुआती के लिए

चूंकि सेवा पूरी तरह से स्वतंत्र है और क्लाउड में चलती है, इसलिए यह प्रयोगों और सीखने के लिए अच्छी तरह से उपयुक्त है। Anyone, यहां तक कि संपादन या मशीन लर्निंग में अनुभव के बिना, केवल कोलैब में निर्देशों का पालन करके अभ्यास में गति हस्तांतरण प्रौद्योगिकी की कोशिश कर सकते हैं।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता का उपयोग कैसे करें?

स्रोत डेटा तैयार करना

पहला कदम दो फ़ाइलों को तैयार करना है: एक वीडियो जिसमें प्रतिस्थापन किया जाएगा, और उस वस्तु या व्यक्ति की एक तस्वीर (छवि) जिसे आप क्लिप में सम्मिलित करना चाहते हैं। यह महत्वपूर्ण है कि फोटो उच्च गुणवत्ता वाला है, जिसमें अच्छी रोशनी और वस्तु की स्पष्ट रूपरेखा है।

Google Colab में चल रहा है

टूल में पारंपरिक अर्थ में एक वेब इंटरफ़ेस नहीं है - यह Google Colab में एक तैयार नोटबुक के माध्यम से काम करता है। आपको प्रदान की गई नोटबुक फ़ाइल खोलने की आवश्यकता है, Google सर्वर तक पहुंच प्रदान करता है, और निर्देशों का पालन करें। कोड अनुक्रमिक रूप से सेल को सेल द्वारा चलाता है, जो पहली बार कोलाब का सामना करने वालों के लिए भी प्रक्रिया को सहज बनाता है।

फ़ाइल और प्रसंस्करण अपलोड करना

एक निश्चित चरण में आपको वीडियो और छवि को रनटाइम वातावरण में अपलोड करने की आवश्यकता होगी। उसके बाद, प्रसंस्करण शुरू होता है: तंत्रिका नेटवर्क क्लिप में गति का विश्लेषण करता है, इसे फोटो के साथ मिलान करता है और आउटपुट के रूप में एक नया वीडियो उत्पन्न करता है। एक बार पूरा होने के बाद, आप आगे उपयोग के लिए अपने कंप्यूटर के परिणाम को डाउनलोड कर सकते हैं।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता की मुख्य विशेषताएं

एक स्टेटिक फोटो में मोशन ट्रांसफर

मुख्य कार्य एक अभी भी छवि को दर्शाता है। आप एक एकल फ्रेम प्रदान करते हैं, और सभी को स्थानांतरित करके तंत्रिका नेटवर्क "इसे जीवन में लाती है"। इसके संदर्भ वीडियो से गतिशीलता। यह आपको मौजूदा रिकॉर्डिंग में शॉर्ट एनिमेटेड क्लिप्स बनाने या वर्णों को बदलने की अनुमति देता है।

एक फ्रेम में ऑब्जेक्ट्स और लोगों को बदलना

तंत्रिका नेटवर्क स्वचालित रूप से स्रोत वीडियो में जाने वाले व्यक्ति या ऑब्जेक्ट की पहचान करता है और इसे अपनी तस्वीर से सामग्री के साथ बदल देता है। आंदोलन का यथार्थवाद संरक्षित है: नई वस्तु मूल की तरह कैमरे में मोड़, इशारा या बदलाव करेगी।

परिसर संपादन के बिना कार्य करना

पूरी प्रक्रिया स्वचालित है। उपकरण फ्रेम द्वारा ऑब्जेक्ट फ्रेम को काटने की आवश्यकता को समाप्त करता है, रोटोस्कोपिंग, मास्किंग या अन्य श्रम-गहन वीडियो संपादन तकनीकों का उपयोग करता है। कोलाब इंटरफ़ेस के साथ मूलभूत परिचितता पर्याप्त है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता के लाभ

• पूरी तरह से मुक्त: नि: शुल्क वितरण मॉडल का मतलब है कि उपकरण किसी भी भुगतान या सदस्यता के बिना सभी के लिए उपलब्ध है।
• कोई पीसी आवश्यकता नहींचूंकि Google के क्लाउड इन्फ्रास्ट्रक्चर का उपयोग किया जाता है, इसलिए सभी गणना सर्वर पर होती है। आपको एक शक्तिशाली गेमिंग कंप्यूटर या महंगे ग्राफिक्स कार्ड की आवश्यकता नहीं है।
• नियमित प्रक्रियाओं का स्वचालनऑब्जेक्ट प्रतिस्थापन स्वचालित रूप से होता है और मैन्युअल गति कैप्चर या फ्रेम-by-फ्रेम कार्य की आवश्यकता नहीं होती है।
• रचनात्मक संभावनाएं: टूल रचनात्मकता के लिए कमरे को खोलता है - पैरोडी वीडियो से लेकर विज्ञापन प्रयोगों तक जहां किसी भी उत्पाद को मॉडल के बजाय फ्रेम में दिखाई दे सकता है।
• न्यूनतम प्रवेश बाधाशुरू करने के लिए, आपको केवल एक ब्राउज़र का उपयोग करने और नोटबुक में चरण-दर-चरण निर्देशों का पालन करने की आवश्यकता है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता के नुकसान

• जटिल लॉन्च: प्रत्यक्ष फ़ाइल अपलोड के साथ एक तैयार वेबसाइट की कमी अनुभवहीन उपयोगकर्ताओं को डर सकती है। कोलाब पर्यावरण में काम करने के लिए कम से कम एक न्यूनतम समझ की आवश्यकता होती है कि कौन सा कोड है और कैसे क्रमिक रूप से कोशिकाओं को चलाने के लिए।
• Google खाते की आवश्यकता: सेवा का उपयोग करने के लिए Google पारिस्थितिकी तंत्र के साथ-साथ Colab सर्वर पर काम करने के लिए खाता डेटा पर हस्ताक्षर करने की आवश्यकता होती है।
• गुणवत्ता सीमाकिसी भी स्वचालित एल्गोरिथ्म की तरह, उपकरण जटिल कोणों, भारी वस्तु occlusion, या स्रोत छवियों की खराब गुणवत्ता के साथ विफल हो सकता है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता क्या कार्य करता है?

जीवन के लिए स्टेटिक छवियां लाना

उपयोगकर्ताओं को अक्सर एक एनिमेटेड छवि (उदाहरण के लिए, memes, GIF एनिमेशन, या शॉर्ट क्लिप के लिए) में एक साधारण चित्र बदलने की आवश्यकता होती है। उपकरण वांछित आंदोलनों के साथ एक संदर्भ वीडियो का उपयोग करके मिनटों में इस कार्य को हल करता है।

वीडियो फुटेज में चरित्र प्रतिस्थापन

मौजूदा वीडियो में किसी व्यक्ति या वस्तु को बदलना विज्ञापन उद्देश्यों के लिए प्रासंगिक है, पैरोडीज़ बनाना, और शैक्षिक सामग्री जहां आपको दृश्य की गतिशीलता को खोए बिना किसी चेहरे या वस्तु को स्वैप करने की आवश्यकता है। तंत्रिका नेटवर्क इस काम को स्वचालित रूप से संभालती है।

प्रोटोटाइप और ड्राफ्ट संस्करण बनाना

महंगे 3D एनिमेशन या एक पूर्ण चरणबद्ध शूट ऑर्डर करने से पहले, डिजाइनर और विपणक जल्दी से एक क्लिप में एक प्लेसहोल्डर छवि डालने के द्वारा एक विचार का परीक्षण कर सकते हैं। यह अवधारणा अनुमोदन चरण में बजट को बचाने में मदद करता है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता के लिए मूल्य निर्धारण

वितरण मॉडल डेटा (फ्री) के अनुसार लागत के बारे में, उपकरण पूरी तरह से उपयोग करने के लिए स्वतंत्र है। अब तक, किसी भी आंतरिक भुगतान किए गए स्तरों, सदस्यता या प्रीमियम खातों के बारे में कोई जानकारी नहीं है। उपयोगकर्ता वित्तीय लागत के बिना तंत्रिका नेटवर्क का उपयोग कर सकते हैं, केवल अपने इंटरनेट यातायात के लिए भुगतान कर सकते हैं। हालांकि, यह ध्यान देने योग्य है कि मूल्य निर्धारण नीतियों और सेवा उपलब्धता भविष्य में बदल सकती है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता के लिए उपयोग की शर्तें

चूंकि Google Colab पर सेवा चलती है, इसलिए उपयोग की शर्तें सीधे Google की नीतियों से जुड़ी हुई हैं। Google खाता (Gmail) शुरू करने के लिए आवश्यक है। सामान्य कोलाब उपयोग नियम भी लागू होते हैं: सत्रों में कम्प्यूटेशन समय पर अस्थायी सीमाएं हो सकती हैं, और उच्च भार की अवधि के दौरान मुफ्त संसाधन (GPU/TPU) को प्रतिबंधित किया जा सकता है।

तंत्रिका नेटवर्क द्वारा बनाई गई सामग्री पर कोई अलग लाइसेंस प्रतिबंध नहीं (उदाहरण के लिए, व्यावसायिक उपयोग पर प्रतिबंध) स्रोत डेटा में निर्दिष्ट किया जाता है। फिर भी, उपयोगकर्ताओं को कॉपीराइट कानूनों के अनुसार टूल का उपयोग करने की सलाह दी जाती है और वीडियो में पात्रों की जगह तीसरे पक्ष के अधिकारों पर उल्लंघन नहीं करना चाहिए।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापनकर्ता की उपलब्धता

आज, उपकरण इंटरनेट एक्सेस के साथ किसी के लिए उपलब्ध है। चूंकि यह गूगल कोलाब पर्यावरण पर आधारित है, इसलिए सभी आवश्यक कार्यों को वेब ब्राउज़र के माध्यम से प्रदान किया जाता है। यह तंत्रिका नेटवर्क क्रॉस-प्लेटफॉर्म बनाता है: इसका उपयोग विंडोज, मैकओएस, लिनक्स कंप्यूटर, साथ ही साथ टैबलेट और अन्य उपकरणों पर आधुनिक ब्राउज़र के साथ किया जा सकता है।

सेवा की उपलब्धता किसी विशिष्ट देश या क्षेत्र से जुड़ी नहीं है - प्रतिबंध केवल इस बात पर निर्भर करता है कि Google Colab आपके स्थान पर सुलभ है या नहीं। स्थानीय सॉफ्टवेयर या शक्तिशाली हार्डवेयर स्थापित करने की आवश्यकता की कमी इस उपकरण को बड़े पैमाने पर उपयोग के लिए जितना संभव हो उतना खुला बनाती है।

वीडियो पर ऑब्जेक्ट और व्यक्ति प्रतिस्थापन कैसे विकल्प से भिन्न होता है

क्लाउड आर्किटेक्चर स्थापना के बिना

चेहरे प्रतिस्थापन या एनीमेशन के लिए कई डेस्कटॉप कार्यक्रमों से एक महत्वपूर्ण अंतर यह है कि उपकरण को भारी सॉफ्टवेयर स्थापित करने या एक शक्तिशाली ग्राफिक्स कार्ड रखने की आवश्यकता नहीं है। Google सर्वर पर सभी गणना की जाती है, जबकि उपयोगकर्ता के पास केवल एक ब्राउज़र टैब खुला होता है।

व्यक्त एनिमेशन विधि

चेहरे प्रतिस्थापन के लिए सरल तंत्रिका नेटवर्क (deepfakes) के विपरीत जो केवल चेहरे की अभिव्यक्ति के साथ काम करते हैं, यह उपकरण पूरे शरीर के आंदोलन का विश्लेषण करता है। कलाबद्ध एनिमेशन विधि किसी व्यक्ति की कंकाल संरचना के लिए खाते हैं, जिससे पूरे आंकड़े और वस्तुओं को अंतरिक्ष में उनके आंदोलन की जटिल गतिशीलता को संरक्षित करते समय प्रतिस्थापित किया जा सकता है।

न्यूनतम इनपुट डेटा सेट

उच्च गुणवत्ता वाले प्रतिस्थापन के लिए अधिकांश सेवाओं को विभिन्न कोणों से कई फेस फ्रेम के साथ व्यापक डेटासेट की आवश्यकता होती है। यहाँ, सिर्फ एक (!) छवि प्रतिस्थापन के लिए पर्याप्त है। यह एक विशाल लाभ है - फोटो डेटाबेस को इकट्ठा करने की कोई आवश्यकता नहीं है; एक अच्छा फ्रेम पर्याप्त है।

निष्कर्ष

वीडियो पर ऑब्जेक्ट और व्यक्ति बदलनेवाला एनीमेशन हस्तांतरण और स्वचालित वीडियो संपादन के क्षेत्र में एक दिलचस्प मुफ्त प्रयोग है। Google Colab और व्यक्त एनिमेशन विधि का लाभ उठाते हुए, यह उपकरण आपको केवल एक तस्वीर पर आधारित एक वीडियो में किसी व्यक्ति या ऑब्जेक्ट को बदलने की अनुमति देता है, स्वचालित रूप से सभी मूल के आंदोलनों को नई छवि में स्थानांतरित कर देता है। समाधान के लिए शक्तिशाली कंप्यूटर की आवश्यकता नहीं है, शुरुआती लोगों के लिए सीखना आसान है, और व्यापक रचनात्मक संभावनाओं को खोलता है। हालांकि, उपयोगकर्ताओं को कॉलैब पर्यावरण के माध्यम से अपरंपरागत लॉन्च करने और स्वचालित एल्गोरिदम में संभावित दोषों को स्वीकार करने की आवश्यकता होगी। फिर भी, उन लोगों के लिए जो जटिल संपादन के बिना छवि एनीमेशन और चरित्र प्रतिस्थापन के लिए एक स्वतंत्र और लचीला उपकरण की तलाश करते हैं, यह तंत्रिका नेटवर्क एक उत्कृष्ट विकल्प है।