Mapa dubine za Seedance 2.5: kako zaobići blokiranje lica

Seedance 2.5 odbija raditi ako je u kadru prepoznatljivo lice ili djelić tuđeg filma. Ovako se tvrtka bori protiv lažiranja slavnih, ali radi se o običnim ljudima: manekenka ponekad odbije čak i vaš vlastiti selfie. Postoji zaobilazno rješenje, a ne radi se o hakiranju. Model lako prolazi kroz mapu dubine - crno-bijelu sliku gdje svjetlina pokazuje udaljenost do kamere. Na njemu nema lica, samo geometrija prizora. U nastavku je opisano kako napraviti takvu kartu iz svog videa besplatno, izravno u pregledniku, i što učiniti ako generacija i dalje pada.

Zašto manekenka vidi slavnu osobu tamo gdje je nema?

Filtri Seedance treniraju se na licima. Njihov je zadatak jednostavan: spriječiti lažiranje izgleda poznate osobe. Problem je što oni “slavu” definiraju geometrijom lica, a ne imenom u odjavnoj špici. Sličan oblik očiju, isti oblik brade - i to je to, odbijanje.

Još je lakše s filmskom snimkom: tamo radi zaštita autorskih prava. Model prepoznaje scenu i ne propušta je u potpunosti, čak i ako samo želite ponoviti pokret kamere.

Rezultat: dvije različite zabrane, ali izgleda isto - crvena greška i gubitak vremena.

Karta dubine: geometrija umjesto lica

Karta dubine je isti video, samo ponovno nacrtan u sivim tonovima. Što je objekt bliže kameri, to je piksel svjetliji. Pozadina postaje crna, a pozadina bijela. Bez tekstura, bez kože, bez očiju: sve što ostaje je reljef prizora.

Ovo je ključna točka za filtar. Nema se što provjeravati – nema lica. A za generiranje postoji sve što vam treba: gdje su bili objekti, kamo je kamera išla, kako se plan mijenjao. Ne kopiramo tuđi kadar, iz njega preuzimamo pokret i raspored, a model crta svoju sliku, od nule.

Iskreno govoreći o ograničenju: to nije "gumb zaobići sve". Ako odmah izravno zatražite lice određenog glumca, ponovno će doći odbijenica. Dubinska karta rješava problem geometrije i kretanja, a ne zamjene osobnosti.

Kako napraviti kartu dubine iz videa - besplatno i bez postavljanja na server

Na našoj web stranici ovo je zaseban model u video odjeljku: Karta dubine (besplatno). Nalazi se na popisu modela pod MiniMax. Odabereš video, pritisneš gumb i sve se izračuna na tvom uređaju.

Što je unutra: model Depth Anything V2 Small (licenca Apache 2.0) reproducira se izravno u pregledniku putem ONNX Runtime Web. Ako imate WebGPU, video kartica se računa, ako ne, rezervni put na procesoru radi. Okviri se analiziraju kroz WebCodecs, zatim se sastavljaju natrag u video s izvornim FPS i maksimalnom razlučivošću koju vaš preglednik može podnijeti.

Izlaz je MP4 ili WebM - ono što preglednik podržava. Postoji pregled rezultata, prekidač "Bliže - svjetlije / Bliže - tamnije" i palete: nijanse sive, Inferno, Viridis. Napredak obrade vidljiv je kadar po kadar; duga obrada se može otkazati.

Dvije stvari koje su najvažnije. Prvo: datoteka ne ide nigdje - ni na naš poslužitelj, ni na tuđi, sav posao se odvija na uređaju. Drugo: tokeni se ne otpisuju za ovo; u ovom modelu uopće nema plaćenog API-ja. Težine modela i datoteke motora pohranjuju se u predmemoriju u pregledniku, tako da se stranica pokreće brže drugi put.

Gdje će biti neugodno. Trebate Chrome ili Edge - WebCodecs nije svugdje dostupan. Dugi video na procesoru ne smatra se brzim: minuta izvornog materijala može trajati nekoliko minuta. I bolje je ne pokretati 4K na slabom prijenosnom računalu - počnite s 720p, pogledajte rezultat, a zatim povećajte rezoluciju.

Razvoj karaktera: dvije greške koje ubijaju rezultat

Druga tehnika iz istog videa je pravilan razvoj lika. Ovo je jedna slika gdje su lice i odjeća prikazani odvojeno. O tome kako je sastavljeno ovisi hoće li lice lebdjeti u generaciji ili će ostati na mjestu.

Prva pogreška: lice i odjeća su nacrtani u različitim mjerilima. Manekenka ne shvaća da se radi o jednoj osobi i počinje sama dovršavati proporcije. Pogreška dva: sken je sastavljen od dijelova različitih ljudi - tada je rezultat prosječno lice vanzemaljca, a filtar ponovno radi.

Opcija rada je jedno skeniranje, jedna osoba, isto svjetlo i kut na oba dijela.

Ako generacija ipak podbaci greškom o prepoznatljivoj osobi

Dešava se da je mapa dubine na mjestu, sken ispravno sastavljen, ali Seedance i dalje odbija. To znači da je problem na jednoj od slika i da ga moramo pronaći.

Metoda je jednostavna – metoda eliminacije. Uklanjate reference jednu po jednu i počinjete ispočetka. Čim prođe generacija, kriva je posljednja uklonjena slika. Zatim ga ili ponovno izgradite ili zamijenite kartom dubine.

Dugo vremena? Da. Ali bez nagađanja: u tri ili četiri vožnje možete vidjeti točan razlog.

I druga tehnika iz istog videa: na sliku krivca primjenjuje se pravilna mreža - ravnomjerni kvadrati preko lica. Filtar prestaje vidjeti cijelo lice, ali za generaciju crte ostaju čitljive. Mreža se postavlja u bilo koji uređivač ili se od neuronske mreže jednostavno traži da "stavi kvadratnu mrežu na ovu fotografiju."

Prenesite kretanje kamere iz bilo kojeg filma

Ista tehnika radi bez zamjene lica. Uzmete kadar iz filma, od njega napravite mapu dubine, date ga modelu zajedno sa svojim upitom - i dobijete svoju scenu s istim pokretom kamere: isti pristup, isti okret, isti ritam.

Tako se snimaju traileri, parodije i reklame kad treba “kinematografska” vožnja, ali nema budžeta za snimatelja s dizalicom.

Što je sljedeće

Redoslijed je sljedeći: prvo karta dubine - besplatno u pregledniku, bez preuzimanja datoteke i bez otpisivanja tokena. Zatim sama generacija - Seedance 2.5 na našoj web stranici, tu je i razvoj likova i reference.

Ako nešto ne uspije prvi put, počnite s kratkim isječkom od 3-5 sekundi. Prikazuje i kretanje kamere i ponašanje lica, a potrebno je puno manje vremena i žetona.