خريطة العمق لـ Seedance 2.5: كيفية تجاوز حجب الوجه

Seedance 2.5 يرفض العمل إذا كان هناك وجه يمكن التعرف عليه أو قطعة من فيلم شخص آخر في الإطار. هذه هي الطريقة التي تحارب بها الشركة الصور المقلدة للمشاهير، لكن الأمر يتعلق بالأشخاص العاديين: أحيانًا يرفض النموذج صور السيلفي الخاصة به. هناك حل بديل، ولا يتعلق الأمر بالقرصنة. يمر النموذج بسهولة عبر خريطة العمق - صورة بالأبيض والأسود حيث يُظهر السطوع المسافة إلى الكاميرا. لا يوجد وجوه عليها، فقط هندسة المشهد. فيما يلي كيفية إنشاء مثل هذه الخريطة من الفيديو الخاص بك مجانًا، مباشرة في المتصفح، وماذا تفعل إذا استمر الجيل في الانخفاض.

لماذا يرى النموذج أحد المشاهير حيث لا يوجد أحد؟

يتم تدريب المرشحات Seedance على الوجوه. مهمتهم بسيطة: منع تزييف مظهر شخص مشهور. المشكلة هي أنهم يحددون "الشهرة" من خلال هندسة الوجه، وليس من خلال الاسم الموجود في الاعتمادات. شكل عين مماثل، نفس شكل الذقن - وهذا كل شيء، الرفض.

يكون الأمر أسهل مع لقطات الفيلم: حيث تعمل حماية حقوق الطبع والنشر هناك. يتعرف النموذج على المشهد ولا يفوته تمامًا، حتى لو كنت تريد فقط تكرار حركة الكاميرا.

النتيجة: محظوران مختلفان، لكنهما يبدوان متماثلين - خطأ أحمر ومضيعة للوقت.

خريطة العمق: الهندسة بدلاً من الوجوه

خريطة العمق هي نفس الفيديو، مع إعادة رسمها فقط بالتدرج الرمادي. كلما كان الكائن أقرب إلى الكاميرا، كلما كان البكسل أكثر سطوعًا. تتلاشى الخلفية إلى اللون الأسود، وتتحول الخلفية إلى اللون الأبيض. لا نسيج ولا جلد ولا عيون: كل ما تبقى هو راحة المشهد.

هذه هي النقطة الرئيسية للمرشح. لا يوجد شيء للتحقق - لا توجد وجوه. وبالنسبة للجيل، هناك كل ما تحتاجه: أين كانت الأشياء، وأين كانت الكاميرا متجهة، وكيف تغيرت الخطة. نحن لا ننسخ إطار شخص آخر، بل نأخذ منه الحركة والترتيب، وترسم العارضة صورتها الخاصة، من الصفر.

بصراحة فيما يتعلق بالقيد: إنه ليس "زر تجاوز كل شيء". إذا طلبت على الفور وجه ممثل معين بشكل مباشر، فسيأتي الرفض مرة أخرى. خريطة العمق تحل مشكلة الهندسة والحركة، وليس استبدال الشخصية.

كيفية عمل خريطة عمق من مقطع فيديو - مجانًا وبدون تحميل على الخادم

على موقعنا هذا نموذج منفصل في قسم الفيديو: خريطة العمق (مجانية). وهي موجودة في قائمة الموديلات تحت MiniMax. يمكنك تحديد مقطع فيديو، والضغط على زر، ويتم حساب كل شيء على جهازك.

ما بالداخل: الموديل Depth Anything V2 Small (الترخيص Apache 2.0) يتم تشغيله مباشرة في المتصفح عبر ONNX Runtime Web. إذا كان لديك WebGPU، فسيتم احتساب بطاقة الفيديو، وإذا لم يكن الأمر كذلك، فسيعمل مسار النسخ الاحتياطي على المعالج. يتم تحليل الإطارات من خلال WebCodecs، ثم يتم تجميعها مرة أخرى في الفيديو باستخدام FPS الأصلي والحد الأقصى للدقة التي يمكن لمتصفحك التعامل معها.

الإخراج هو MP4 أو WebM - ما يدعمه المتصفح. هناك معاينة للنتيجة، والتبديل "أقرب - أفتح / أقرب - أغمق" واللوحات: ظلال رمادية، Inferno، Viridis. يكون تقدم المعالجة مرئيًا إطارًا تلو الآخر؛ يمكن إلغاء المعالجة الطويلة.

شيئان أكثر أهمية. أولاً: لا ينتقل الملف إلى أي مكان - لا إلى خادمنا ولا إلى خادم شخص آخر، كل العمل يتم على الجهاز. ثانيًا: لا تُشطب الرموز لذلك؛ لا توجد واجهة برمجة تطبيقات مدفوعة في هذا النموذج على الإطلاق. يتم تخزين أوزان النموذج وملفات المحرك مؤقتًا في المتصفح، لذلك تبدأ الصفحة بشكل أسرع في المرة الثانية.

حيث سيكون غير مريح. أنت بحاجة إلى Chrome أو Edge - WebCodecs غير متوفر في كل مكان. لا يعتبر الفيديو الطويل على المعالج سريعًا: يمكن أن تستغرق دقيقة واحدة من المادة المصدر عدة دقائق. ومن الأفضل عدم تشغيل 4K على جهاز كمبيوتر محمول ضعيف - ابدأ بـ 720p، وشاهد النتيجة، ثم ارفع الدقة.

تطوير الشخصية: خطأان يقتلان النتيجة

التقنية الثانية من نفس الفيديو هي التطوير الصحيح للشخصية. هذه صورة واحدة يظهر فيها الوجه والملابس بشكل منفصل. يعتمد الأمر على كيفية تجميعه، سواء كان الوجه سيطفو في الجيل أو سيبقى في مكانه.

الخطأ الأول: يتم رسم الوجه والملابس بمقاييس مختلفة. لا يفهم النموذج أن هذا شخص واحد، ويبدأ في إكمال النسب بنفسه. الخطأ الثاني: يتم تجميع المسح من أجزاء من أشخاص مختلفين - ثم يكون الناتج وجهًا فضائيًا متوسطًا، ويعمل المرشح مرة أخرى.

خيار العمل هو مسح واحد، شخص واحد، نفس الضوء والزاوية على كلا الجزأين.

إذا كان الجيل لا يزال يفشل مع وجود خطأ حول شخص يمكن التعرف عليه

يحدث أن تكون خريطة العمق في مكانها، ويتم تجميع المسح بشكل صحيح، ولكن Seedance لا يزال يرفض. هذا يعني أن المشكلة موجودة في إحدى الصور وعلينا العثور عليها.

الطريقة بسيطة - طريقة الإزالة. يمكنك إزالة المراجع واحدًا تلو الآخر والبدء من جديد. بمجرد مرور الجيل، كان اللوم هو آخر صورة تمت إزالتها. ثم يمكنك إما إعادة بنائها أو استبدالها بخريطة عمق.

لفترة طويلة؟ نعم. ولكن دون تخمين: في ثلاث أو أربع جولات يمكنك معرفة السبب الدقيق.

والتقنية الثانية من نفس الفيديو: يتم تطبيق شبكة عادية على الصورة المذنب - حتى المربعات على الوجه. يتوقف الفلتر عن رؤية الوجه بالكامل، لكن تظل الملامح قابلة للقراءة على مدى الجيل. يتم وضع الشبكة في أي محرر أو يُطلب من الشبكة العصبية ببساطة "وضع شبكة مربعة على هذه الصورة".

نقل حركة الكاميرا من أي فيلم

نفس التقنية تعمل دون استبدال الوجه. تأخذ إطارًا من فيلم، وترسم منه خريطة عمق، وتعطيه للنموذج مع مطالبتك - وتحصل على مشهدك بنفس حركة الكاميرا: نفس النهج، ونفس الدورة، ونفس الإيقاع.

هذه هي الطريقة التي يتم بها تصوير المقطورات والمحاكاة الساخرة والإعلانات التجارية عندما تكون هناك حاجة إلى رحلة "سينمائية"، ولكن لا توجد ميزانية لمصور يحمل رافعة.

ما هي الخطوة التالية

الترتيب كالتالي: أولاً خريطة العمق - مجانا في المتصفح، دون تنزيل ملف ودون شطب الرموز المميزة. ثم الجيل نفسه - Seedance 2.5 على موقعنا، هناك أيضًا تطوير الشخصية والمراجع.

إذا لم ينجح شيء ما في المرة الأولى، فابدأ بمقطع قصير مدته من 3 إلى 5 ثوانٍ. فهو يُظهر حركة الكاميرا وسلوك الوجه، ويستغرق وقتًا ورموزًا أقل بكثير.