Peta kedalaman untuk Seedance 2.5: cara memintas penyekatan muka

Seedance 2.5 enggan bekerja jika terdapat wajah yang boleh dikenali atau sekeping filem orang lain dalam bingkai. Beginilah cara syarikat itu melawan selebriti palsu, tetapi ia datang kepada orang biasa: model kadangkala menolak swafoto anda sendiri. Terdapat penyelesaian, dan ini bukan tentang penggodaman. Model mudah melalui peta kedalaman - gambar hitam dan putih di mana kecerahan menunjukkan jarak ke kamera. Tiada wajah padanya, hanya geometri tempat kejadian. Di bawah ialah cara membuat peta sedemikian daripada video anda secara percuma, terus dalam penyemak imbas, dan perkara yang perlu dilakukan jika penjanaan masih menurun.

Mengapa seorang model melihat selebriti di mana tidak ada?

Penapis Seedance dilatih pada muka. Tugas mereka mudah: untuk mengelakkan penampilan orang terkenal daripada dipalsukan. Masalahnya ialah mereka mentakrifkan "kemasyhuran" dengan geometri wajah, dan bukan dengan nama dalam kredit. Bentuk mata yang serupa, bentuk dagu yang sama - dan itu sahaja, penolakan.

Ia lebih mudah dengan rakaman filem: perlindungan hak cipta berfungsi di sana. Model ini mengenali pemandangan itu dan tidak terlepas sepenuhnya, walaupun anda hanya mahu mengulangi pergerakan kamera.

Keputusan: dua larangan yang berbeza, tetapi ia kelihatan sama - kesilapan merah dan membuang masa.

Peta kedalaman: geometri bukannya muka

Peta kedalaman ialah video yang sama, hanya dilukis semula dalam skala kelabu. Semakin dekat objek dengan kamera, semakin cerah pikselnya. Latar belakang pudar menjadi hitam, latar belakang menjadi putih. Tiada tekstur, tiada kulit, tiada mata: yang tinggal hanyalah kelegaan adegan itu.

Ini adalah perkara utama untuk penapis. Tiada apa-apa untuk diperiksa - tiada muka. Dan untuk generasi ada semua yang anda perlukan: di mana objek berada, ke mana kamera pergi, bagaimana rancangan itu berubah. Kami tidak menyalin bingkai orang lain, kami mengambil pergerakan dan susunan daripadanya, dan model itu melukis gambarnya sendiri, dari awal.

Sejujurnya tentang pengehadan: ini bukan "butang memintas segala-galanya." Jika anda segera meminta wajah pelakon tertentu secara langsung, penolakan akan datang lagi. Peta kedalaman menyelesaikan masalah geometri dan pergerakan, bukan penggantian personaliti.

Cara membuat peta kedalaman daripada video - percuma dan tanpa memuat naik ke pelayan

Di tapak web kami ini ialah model yang berasingan dalam bahagian video: Peta kedalaman (percuma). Ia berada dalam senarai model di bawah MiniMax. Anda memilih video, tekan butang, dan semuanya dikira pada peranti anda.

Apa yang ada di dalam: model Depth Anything V2 Small (lesen Apache 2.0) dimainkan terus dalam penyemak imbas melalui ONNX Runtime Web. Jika anda mempunyai WebGPU, kad video dikira, jika tidak, laluan sandaran pada pemproses berfungsi. Bingkai dihuraikan melalui WebCodecs, kemudian dipasang kembali ke dalam video dengan FPS asal dan resolusi maksimum yang boleh dikendalikan oleh penyemak imbas anda.

Outputnya ialah MP4 atau WebM - perkara yang disokong oleh penyemak imbas. Terdapat pratonton keputusan, suis "Lebih dekat - lebih ringan / Lebih dekat - lebih gelap" dan palet: warna kelabu, Inferno, Viridis. Kemajuan pemprosesan kelihatan bingkai demi bingkai; pemprosesan yang lama boleh dibatalkan.

Dua perkara yang paling penting. Pertama: fail tidak pergi ke mana-mana - tidak ke pelayan kami, mahupun ke orang lain, semua kerja berlaku pada peranti. Kedua: token tidak dihapus kira untuk ini; tiada API berbayar dalam model ini sama sekali. Berat model dan fail enjin dicache dalam penyemak imbas, jadi halaman bermula lebih cepat untuk kali kedua.

Di mana ia akan menjadi tidak selesa. Anda memerlukan Chrome atau Edge - WebCodecs tidak tersedia di semua tempat. Video panjang pada pemproses tidak dianggap pantas: seminit bahan sumber boleh mengambil masa beberapa minit. Dan adalah lebih baik untuk tidak menjalankan 4K pada komputer riba yang lemah - mulakan dengan 720p, lihat hasilnya, kemudian naikkan resolusi.

Pembangunan watak: dua kesilapan yang membunuh hasilnya

Teknik kedua dari video yang sama ialah perkembangan watak yang betul. Ini adalah satu gambar di mana muka dan pakaian ditunjukkan secara berasingan. Ia bergantung pada cara ia dipasang sama ada muka akan terapung dalam generasi atau kekal di tempatnya.

Kesilapan pertama: muka dan pakaian dilukis pada skala yang berbeza. Model tidak memahami bahawa ini adalah satu orang, dan mula menyelesaikan perkadaran itu sendiri. Ralat dua: imbasan dipasang daripada kepingan orang yang berbeza - maka outputnya ialah muka asing purata, dan penapis berfungsi semula.

Pilihan kerja ialah satu imbasan, satu orang, cahaya dan sudut yang sama pada kedua-dua bahagian.

Jika generasi masih gagal dengan kesilapan tentang orang yang dikenali

Kebetulan peta kedalaman sudah ada, imbasan dipasang dengan betul, tetapi Seedance masih menolak. Ini bermakna bahawa masalahnya adalah dalam salah satu gambar, dan kita perlu mencarinya.

Kaedahnya mudah - kaedah penghapusan. Anda mengalih keluar rujukan satu demi satu dan mulakan semula. Sebaik sahaja generasi berlalu, gambar terakhir yang dikeluarkan adalah untuk dipersalahkan. Kemudian anda sama ada membina semula atau menggantikannya dengan peta kedalaman.

Untuk masa yang lama? ya. Tetapi tanpa meneka: dalam tiga atau empat larian anda boleh melihat sebab yang tepat.

Dan teknik kedua dari video yang sama: grid biasa digunakan pada gambar bersalah - walaupun segi empat sama di atas muka. Penapis berhenti melihat keseluruhan muka, tetapi untuk generasi ciri-ciri kekal boleh dibaca. Grid diletakkan dalam mana-mana editor atau rangkaian saraf hanya diminta untuk "meletakkan grid segi empat sama pada foto ini."

Pindahkan pergerakan kamera dari mana-mana filem

Teknik yang sama berfungsi tanpa menggantikan muka. Anda mengambil bingkai daripada filem, membuat peta kedalaman daripadanya, memberikannya kepada model bersama-sama dengan gesaan anda - dan anda mendapat pemandangan anda dengan pergerakan kamera yang sama: pendekatan yang sama, giliran yang sama, irama yang sama.

Beginilah cara treler, parodi dan iklan dirakam apabila perjalanan "pawagam" diperlukan, tetapi tiada bajet untuk jurukamera dengan kren.

Apa seterusnya

Urutannya adalah seperti berikut: pertama peta kedalaman - percuma dalam pelayar, tanpa memuat turun fail dan tanpa menghapuskan token. Kemudian generasi itu sendiri - Seedance 2.5 di laman web kami, terdapat juga pembangunan watak dan rujukan.

Jika sesuatu tidak berfungsi pada kali pertama, mulakan dengan klip pendek 3-5 saat. Ia menunjukkan kedua-dua pergerakan kamera dan gelagat muka, dan mengambil lebih sedikit masa dan token.