Harta de adâncime pentru Seedance 2.5: cum să ocoliți blocarea feței

Seedance 2.5 refuză să lucreze dacă în cadru există o față recunoscută sau o bucată din filmul altcuiva. Așa se face că compania luptă împotriva falsurilor de vedete, dar vine vorba de oamenii obișnuiți: un model uneori chiar își respinge propriul selfie. Există o soluție și nu este vorba despre hacking. Modelul trece cu ușurință prin harta de adâncime - o imagine alb-negru în care luminozitatea arată distanța până la cameră. Nu există chipuri pe el, doar geometria scenei. Mai jos este cum să faci o astfel de hartă din videoclipul tău gratuit, chiar în browser și ce să faci dacă generația încă scade.

De ce vede un model o celebritate acolo unde nu există?

Filtrele Seedance sunt antrenate pe fețe. Sarcina lor este simplă: să împiedice apariția unei persoane celebre să fie falsificată. Problema este că ei definesc „fama” după geometria feței, și nu după numele din credite. O formă similară a ochilor, aceeași formă a bărbiei - și atât, refuz.

Este și mai ușor cu filmele: protecția drepturilor de autor funcționează acolo. Modelul recunoaște scena și nu o ratează în totalitate, chiar dacă doriți doar să repetați mișcarea camerei.

Rezultat: două interdicții diferite, dar arată la fel - o greșeală roșie și o pierdere de timp.

Harta de adâncime: geometrie în loc de fețe

O hartă de adâncime este același videoclip, doar redesenată în tonuri de gri. Cu cât obiectul este mai aproape de cameră, cu atât pixelul este mai luminos. Fundalul se estompează în negru, fundalul în alb. Fără texturi, fără piele, fără ochi: tot ce rămâne este relieful scenei.

Acesta este un punct cheie pentru filtru. Nu există nimic de verificat - nu există fețe. Și pentru generație există tot ce aveți nevoie: unde erau obiectele, unde mergea camera, cum s-a schimbat planul. Nu copiam rama altcuiva, luam miscarea si aranjamentul din ea, iar modelul isi face propria poza, de la zero.

Sincer despre limitare: nu este un buton „ocoliți totul”. Dacă ceri prompt direct chipul unui anumit actor, refuzul va veni din nou. Harta de adâncime rezolvă problema geometriei și mișcării, nu înlocuirea personalității.

Cum să faci o hartă de adâncime dintr-un videoclip - gratuit și fără încărcare pe server

Pe site-ul nostru, acesta este un model separat în secțiunea video: Harta de adancime (gratuita). Este în lista de modele sub MiniMax. Selectați un videoclip, apăsați un buton și totul este calculat pe dispozitiv.

Ce este înăuntru: modelul Depth Anything V2 Small (licență Apache 2.0) se redă direct în browser prin ONNX Runtime Web. Dacă aveți WebGPU, placa video contează, dacă nu, calea de rezervă de pe procesor funcționează. Cadrele sunt analizate prin WebCodecs, apoi asamblate înapoi în videoclip cu originalul FPS și rezoluția maximă pe care o poate gestiona browserul dvs.

Ieșirea este MP4 sau WebM - ceea ce acceptă browserul. Există o previzualizare a rezultatului, un comutator „Mai aproape - mai deschis / Mai aproape - mai întunecat” și palete: nuanțe de gri, Inferno, Viridis. Progresul procesării este vizibil cadru cu cadru; procesarea îndelungată poate fi anulată.

Două lucruri care contează cel mai mult. În primul rând: fișierul nu merge nicăieri - nici la serverul nostru, nici la al altcuiva, toate lucrările au loc pe dispozitiv. În al doilea rând: jetoanele nu sunt anulate pentru aceasta; nu există deloc un API plătit în acest model. Greutățile modelului și fișierele motorului sunt stocate în cache în browser, astfel încât pagina pornește mai repede a doua oară.

Unde va fi inconfortabil. Ai nevoie de Chrome sau Edge - WebCodecs nu este disponibil peste tot. Un videoclip lung pe un procesor nu este considerat rapid: un minut de material sursă poate dura câteva minute. Și este mai bine să nu rulați 4K pe un laptop slab - începeți cu 720p, vedeți rezultatul, apoi creșteți rezoluția.

Dezvoltarea caracterului: două greșeli care distrug rezultatul

A doua tehnică din același videoclip este dezvoltarea corectă a personajului. Aceasta este o imagine în care fața și hainele sunt afișate separat. Depinde de modul în care este asamblat dacă fața va pluti în generație sau rămâne pe loc.

Prima greșeală: fața și hainele sunt desenate la scări diferite. Modelul nu înțelege că aceasta este o singură persoană și începe să completeze ea însăși proporțiile. Eroare a doua: scanarea este asamblată din bucăți de oameni diferiți - apoi rezultatul este o față străină medie, iar filtrul funcționează din nou.

Opțiunea de lucru este o scanare, o persoană, aceeași lumină și unghi pe ambele părți.

Dacă generația eșuează în continuare cu o eroare despre o persoană recunoscută

Se întâmplă ca harta de adâncime să fie la locul ei, scanarea să fie asamblată corect, dar Seedance încă refuză. Aceasta înseamnă că problema este într-una dintre imagini și trebuie să o găsim.

Metoda este simplă - metoda eliminării. Scoateți referințele unul câte unul și începeți din nou. Imediat ce generația trece, ultima poză eliminată a fost de vină. Apoi fie îl reconstruiți, fie îl înlocuiți cu o hartă de adâncime.

Pentru o lungă perioadă de timp? Da. Dar fără să ghicești: în trei sau patru alergări poți vedea motivul exact.

Și a doua tehnică din același videoclip: pe imaginea vinovată se aplică o grilă obișnuită - chiar și pătrate peste față. Filtrul nu mai vede întreaga față, dar pentru generație caracteristicile rămân lizibile. Grila este plasată în orice editor sau rețelei neuronale i se cere pur și simplu „să pună o grilă pătrată pe această fotografie”.

Transferați mișcarea camerei din orice film

Aceeași tehnică funcționează fără a înlocui fața. Luați un cadru dintr-un film, faceți o hartă de profunzime din el, îl oferiți modelului împreună cu solicitarea dvs. - și obțineți scena cu aceeași mișcare a camerei: aceeași abordare, aceeași viraj, același ritm.

Așa se filmează remorcile, parodiile și reclamele când este nevoie de o plimbare „cinematică”, dar nu există buget pentru un cameraman cu macara.

Ce urmează

Ordinea este următoarea: mai întâi harta de adâncime - gratuit în browser, fără a descărca un fișier și fără a șterge jetoane. Apoi generația însăși - Seedance 2.5 pe site-ul nostru, există și o dezvoltare a personajului și referințe.

Dacă ceva nu funcționează prima dată, începeți cu un scurt clip de 3-5 secunde. Arată atât mișcarea camerei, cât și comportamentul facial și necesită mult mai puțin timp și jetoane.