Flow-Guided Video Inpainting

Inpainting a specialized tool for intelligent video editing. والغرض منه هو إزالة العناصر غير المرغوب فيها من سلسلة فيديو، بما في ذلك الأجسام المتحركة والظلال الثابتة والعلامات المائية، والاستعاضة عن المناطق النظيفة بخلفية معقولة. وتستند التكنولوجيا إلى مزيج من أساليب تحليل التدفق الضوئي والخوارزميات الداخلية. ويسمح التدفق الضوئي بتتبع حركة البكسل بين الأطر المتاخمة، وهو أمر بالغ الأهمية لتحقيق نتيجة مستقرة وطبيعية على مر الزمن. وهذا يميز هذا الحل عن التجهيز حسب الإطار: ويتم ملء ذلك بسياق الحركة في الاعتبار، مما يحول دون المغازلة والتشويهات.

كيف تعمل التكنولوجيا

The model analyzes video as a sequence of frames, not individual images. وبعد أن يحدد المستخدم المنطقة التي يتعين إزالتها (قناع)، تقوم الشبكة العصبية بدراسات الخلفية المحيطة و مسارات الحركة للأجسام في الإطار وتستخدم المعلومات المجمعة للتنبؤ بما ينبغي أن تبدو عليه المنطقة النظيفة في كل إطار، بحيث يتم الحفاظ على الاستمرارية وعلى منطق الكاميرا أو الحركة الموضوعية.

طريقة التوزيع والإطلاق

The tool is available as a Colab notebook. وهذه بيئة تنفيذ قائمة على الغيوم لا تتطلب تركيب برامجيات إضافية على حاسوب محلي. وهذا يعني أن أي مستخدم، بغض النظر عن مستوى المهارات التقنية، يمكنه إدارة الخوارزمية - وكل ما يلزم هو الوصول إلى المصفح والشبكة الداخلية.

Vlow-Guided Video Inpainting Specifications

مَنْ يَدْفعُ فيديو مَنْ؟

محررو الفيديو وأخصائيو VFX

وكثيرا ما يواجه المهنيون العاملون بمحتوى الفيديو مهمة تنظيف الأطر. هذه الأداة مفيدة عندما تحتاج إلى إزالة الجسم الذي ظهر عن طريق الخطأ في الإطار، ظل مشتت من المعدات، أو تفاصيل غير مرغوب فيها في الخلفية دون إعادة إطلاق المشهد.

المبدعين والمدونون

ويمكن لصانعي الوحدات استخدام الشبكة العصبية لإزالة علامات المياه الثابتة من المواد التي سبق تحميلها أو لتنظيف أشرطة مخزونهم الخاصة من القطع الأثرية المؤقتة. وبساطة الإطلاق عبر كولاب تجعل هذه الأداة متاحة للمستعملين دون معرفة تقنية عميقة.

الباحثون والطلاب

وبما أن التكنولوجيا تنفذ في بيئة مفتوحة، فإنها يمكن أن تكون مثالا واضحا على دراسة أساليب التدفق الضوئي والنُهُج الحديثة للبث بالفيديو.

كيف نستخدم "الفيديو" المتحرك؟

الخطوة 1: افتتاح مذكرة كولاب

ليبدأوا، اتبعوا الرابط إلى كتاب (كولاب). هذه منصة سحابية من (جوجل) تسمح لك بفحص شفرة (بيثون) في المصفوف لا يوجد برمجيات إضافية يجب تركيبها على حاسوبك

الخطوة 2: إعداد البيانات وتحميلها

سوف تحتاج إلى تحميل الفيديو المصدري، و، اعتمادا على واجهة الدفتر، تحديد أو رسم قناع يشير إلى المنطقة التي سيتم إزالتها. ويمكن عادة إنشاء القناع إما يدويا في الوصلة البينية المقدمة أو بتحميل ملف قناع جاهز.

الخطوة 3: إدارة العملية

بمجرد وضع القناع، تبدأ عملية الاستطلاع. The neural network processes the video sequence, analyzing pixel movement and filling in the removed areas. الفيديو النهائي المنظف يمكن إنقاذه و تحميله

الملامح الرئيسية للفيديو المزود بضائع

إزالة الأجسام المتحركة والثابتة

The tool successfully removes people, cars, or other objects that come into view. بفضل التدفق البصري، التعبئة تعمل بشكل صحيح حتى عندما تتحرك الكاميرا.

القضاء على الظل

The complex task of shadow removal is solved by analyzing the textures and lighting of neighbouringing areas. ويعيد النموذج بناء الخلفية بحيث لا توجد بقع أو تشوهات مرئية حيث كان الظل.

إزالة علامات الوتر

الخوارزمية يمكن أن تزيل النفقات النصية الثابتة أو الشعارات. وخلافاً للضبابية البسيطة، تحاول هذه التكنولوجيا استعادة محتوى الإطار الأصلي الذي كان مخفياً تحت العلامة.

الملاءمة من الفيديو المتدفق

الحفاظ على الحركة الطبيعية

والميزة الرئيسية هي الاتساق الزمني. تتبع الحركة عبر الإطارات يضمن عدم وجود أكاذيب "الحياة" ويحافظ على سلاسة الفيديو الذي هو نقطة ضعف في العديد من الخوارزميات البسيطة

إمكانية الوصول وحواجز الدخول المنخفضة

The free distribution model and the Colab notebook format remove barriers to getting started. لستِ بحاجة لتشكيل بيئة معقدة وتركيب سائقي بطاقات الرسوم البيانية أو تراخيص الشراء

التشغيل الآلي للعمليات

بعد وضع القناع، يتم معظم العمل تلقائيا بواسطة الشبكة العصبية. ويوفّر ذلك الوقت مقارنة بالتجهيز اليدوي لكل إطار على حدة في محرري الرسوم البيانية.

Limitations of Flow-Guided Video Inpainting

الاعتماد على الموارد الحاسوبية السحابية

وعلى الرغم من عدم الحاجة إلى إنشاء محلي، فإن العمل في كولاب يعني الاعتماد على حدود منصة السحب. ويمكن أن تكون للنسخ الحرة قيود على وقت التنفيذ أو استخدام الذاكرة، مما قد يكون حاسما بالنسبة للفيديوات الطويلة.

صعوبة السيطرة على النتيجة

الجيل الآلي ليس دائما مثاليا. وفي المشاهد المعقدة التي تنطوي على الكثير من التفاصيل المتحركة، قد تتضمن النتيجة مصنوعات يدوية، وكثيرا ما لا يكون لدى المستعملين أي أدوات للتصويب اليدوي الحسن داخل الأداة، غير تعديل القناع الأصلي.

لا يوجد دعم تقني رسمي

ولما كان من المحتمل أن يكون هذا المشروع بحثيا أو حلا مفتوحا المصدر منتشرا في كولاب، يتعين على المستعملين الاعتماد على وثائق المذكرات أو على المجتمع المحلي بدلا من فريق الدعم.

ما المهمات التي حلّها (فيديو)؟

المهمة الرئيسية هي تنظيف الفيديو غير التدميريبدلاً من حرق جزء من الإطار (الذي يقلل من حجم الصورة) أو خلط الجسم، الأداة إعادة البناء المحتوى الخفي ويتيح ذلك السيناريوهات التالية: إزالة المارة العشوائية من اللقطات المعمارية، وإزالة الظل المشتتتة من المشغل أو المعدات في صناعة الأفلام الوثائقية، وتنظيف أُطر لوحات القنوات التلفزيونية أو دغدغة التحرير اللاحق، واستعادة لقطات المحفوظات.

Flow-Guided Video Inpainting Pricing

واستنادا إلى البيانات المقدمة، فإن نموذج التوزيع هو مجاناهذا يعني أنه لا توجد تهمة لاستخدام الخوارزمية على أي حال، من الجدير بالذكر أن التكاليف قد تنشأ إذا تجاوزت حدود الاستخدام المجاني لمنصة غوغل كولاب السحابية حيث تستضيف المذكرة. التسعير الدقيق للقوة الحسابية الإضافية يعتمد على سياسة تسعير جوجل ولا يرتبط مباشرة بهذه الأداة

محطات استخدام الفيديو المتدفقة

The terms of use revolve around two factors: the rules of the Colab platform and the possible license on the model code itself. وبما أن الأداة موزعة مجاناً، فمن المفترض أن تكون موجهة للاستخدام غير التجاري أو البحثي، ما لم يذكر خلاف ذلك في مستودع المؤلف. وقبل الاستخدام التجاري لنتائج التجهيز، يوصى باستعراض ترخيص رمز المصدر المحدد (مثل معهد ماساتشوستس للتكنولوجيا، أو شركة Apache 2.0، أو شركة Creative Commons)، الذي يرد عادة في ملفات الدفتر أو في صفحة المشروع. ولكولاب سياسات استخدام موحدة مقبولة تحظر النشاط الخبيث والحسابات الثقيلة التي طال أمدها.

توافر الفيديو المطلّق على المبادئ التوجيهية

الأداة متاحة على الإنترنت من خلال أي مصفف جديد هذا يضمن التوافق بين المشابك: يمكنك العمل من أجهزة تشغيل النوافذ، ماكوس، لينكس، أو حتى لوحات. الإحتياج الرئيسي هو وجود اتصال ثابت على الانترنت لتحميل الفيديو و أداء الكمبيوتر على خواديم جوجل الاستخدام غير المباشر بدون الإنترنت أمر صعب، لأن جميع الحمولة الحاسوبية تقع على الخواديم السحابية.

How Flow-Guided Video Inpainting differ from alternatives

والفرق الأساسي الرئيسي عن أدوات التحرير البسيطة هو استخدام تحليل تسلسل الإطار- يعامل المحررون المنتظمون كل إطار على أنه صورة منفصلة (للمخطط الداخلي لكل إطار). هذا غالباً ما يؤدي إلى خلط و "التشكيل" في المناطق المُصلّعة، لأن الخوارزمية لا تعرف كيف تحرك الجسم. The Flow-Guided approach uses motion information (optical flow) to coordinate the filling over time.

وجدير بالملاحظة أيضاً سهولة الوصول- في حين أن العديد من الطرود التجارية ذات السمات المشابهة (مثلا، برنامج " برمجيات " ) يحتاج إلى اشتراكات باهظة التكلفة وتركيب برامجيات ثقيلة، لدينا هنا خيار قائم على الغيوم يعمل مباشرة من المصفح دون فقدان الجودة الرئيسية.

خاتمة

ويعد الرسم المزود بالفيديو المزود بدليل متفجر حلاً عالي الجودة وميسراً لإزالة العناصر غير المرغوب فيها من محتوى الفيديو. وبفضل استخدام التدفق البصري، تكفل الأداة وجود اتساق كبير في الإطار، مما يجعلها مساعدة موثوقة في التحرير. ويسمح مركزها الحر وتنفيذه كدليل كولاب لأي شخص بالوصول بسرعة وفعالية من حيث التكلفة إلى تكنولوجيا التصوير بالفيديو الحديثة، وإنقاذ ساعات العمل اليدوي، والحفاظ على النظرة الطبيعية للصورة عند تنظيف أطر الأشياء والظلال والعلامات المائية. على أي حال، قبل البدء، يستحق تقييم تعقيد الفيديو والتقييدات المحتملة منصة السحب.