Mapa hĺbky pre Seedance 2.5: ako obísť blokovanie tváre

Seedance 2.5 odmietne pracovať, ak je v zábere rozpoznateľná tvár alebo kúsok filmu niekoho iného. Firma takto bojuje proti falzifikátom celebrít, no príde na rad obyčajných ľudí: modelka niekedy odmieta aj vlastnú selfie. Existuje riešenie a nejde o hackovanie. Model ľahko prechádza hĺbkovou mapou - čiernobielym obrázkom, kde jas ukazuje vzdialenosť k fotoaparátu. Nie sú na ňom žiadne tváre, iba geometria scény. Nižšie je uvedený postup, ako vytvoriť takúto mapu z vášho videa zadarmo priamo v prehliadači a čo robiť, ak generácia stále klesá.

Prečo modelka vidí celebritu tam, kde žiadna nie je?

Filtre Seedance sú natrénované na tvárach. Ich úloha je jednoduchá: zabrániť falšovaniu vzhľadu známej osobnosti. Problém je v tom, že „slávu“ definujú podľa geometrie tváre a nie podľa mena v titulkoch. Podobný tvar očí, rovnaký tvar brady - a to je všetko, odmietnutie.

S filmovými zábermi je to ešte jednoduchšie: funguje tam ochrana autorských práv. Model rozpozná scénu a úplne ju neprehliadne, aj keď chcete len zopakovať pohyb kamery.

Výsledok: dva rôzne zákazy, ale vyzerá to rovnako – červená chyba a strata času.

Hĺbková mapa: geometria namiesto plôch

Hĺbková mapa je rovnaké video, len prekreslené v odtieňoch sivej. Čím bližšie je objekt k fotoaparátu, tým je pixel jasnejší. Pozadie vybledne do čiernej, pozadie do bielej. Žiadne textúry, žiadna koža, žiadne oči: zostáva len reliéf scény.

Toto je kľúčový bod pre filter. Nie je čo kontrolovať - ​​nie sú tam žiadne tváre. A pre generácie je tu všetko, čo potrebujete: kde boli objekty, kam smerovala kamera, ako sa zmenil plán. Nekopírujeme rám niekoho iného, ​​preberáme z neho pohyb a aranžmán a modelka si od základov nakreslí svoj vlastný obrázok.

Úprimne povedané o obmedzení: nejde o tlačidlo „obísť všetko“. Ak sa promptne opýtate priamo na tvár konkrétneho herca, odmietnutie príde znova. Hĺbková mapa rieši problém geometrie a pohybu, nie substitúcie osobnosti.

Ako vytvoriť hĺbkovú mapu z videa - zadarmo a bez nahrávania na server

Na našej webovej stránke je to samostatný model v sekcii videa: Hĺbková mapa (zadarmo). Nachádza sa v zozname modelov pod MiniMax. Vyberiete video, stlačíte tlačidlo a všetko sa vypočíta na vašom zariadení.

Čo je vnútri: model Depth Anything V2 Small (licencia Apache 2.0) sa hrá priamo v prehliadači cez ONNX Runtime Web. Ak máte WebGPU, počíta sa grafická karta, ak nie, záložná cesta na procesore funguje. Snímky sa analyzujú cez WebCodecs, potom sa zostavia späť do videa s pôvodným FPS a maximálnym rozlíšením, ktoré váš prehliadač zvládne.

Výstup je MP4 alebo WebM – čo prehliadač podporuje. K dispozícii je náhľad výsledku, prepínač „Bližšie - svetlejšie / Bližšie - tmavšie“ a palety: odtiene sivej, Inferno, Viridis. Priebeh spracovania je viditeľný snímku po snímke; dlhé spracovanie je možné zrušiť.

Dve veci, na ktorých záleží najviac. Po prvé: súbor nikam nejde - ani na náš server, ani na niekoho iného, ​​všetka práca prebieha na zariadení. Po druhé: žetóny sa za to neodpisujú; v tomto modeli nie je vôbec žiadne platené API. Váhy modelov a súbory motorov sa ukladajú do vyrovnávacej pamäte prehliadača, takže stránka sa druhýkrát spustí rýchlejšie.

Kde to bude nepríjemné. Potrebujete Chrome alebo Edge - WebCodecs nie je dostupné všade. Dlhé video na procesore sa nepovažuje za rýchle: minúta zdrojového materiálu môže trvať niekoľko minút. A je lepšie nespúšťať 4K na slabom notebooku – začnite s 720p, pozrite si výsledok a potom zvýšte rozlíšenie.

Vývoj postavy: dve chyby, ktoré zabíjajú výsledok

Druhou technikou z toho istého videa je správny vývoj postavy. Toto je jeden obrázok, na ktorom sú tvár a oblečenie zobrazené oddelene. Záleží na tom, ako sa zmontuje, či bude tvár plávať v generácii alebo zostane na mieste.

Prvá chyba: tvár a oblečenie sú nakreslené v rôznych mierkach. Modelka nechápe, že ide o jednu osobu, a sama začína dotvárať proporcie. Chyba dva: sken je zostavený z kúskov rôznych ľudí - potom je výstupom spriemerovaná mimozemská tvár a filter opäť funguje.

Pracovná možnosť je jeden sken, jedna osoba, rovnaké svetlo a uhol na oboch častiach.

Ak generovanie stále zlyhá s chybou o rozpoznateľnej osobe

Stáva sa, že hĺbková mapa je na mieste, sken je zostavený správne, ale Seedance stále odmieta. To znamená, že problém je na jednom z obrázkov a musíme ho nájsť.

Metóda je jednoduchá - metóda eliminácie. Odstránite odkazy jeden po druhom a začnete znova. Len čo prejde generácia, na vine bol posledný odstránený obrázok. Potom ho buď prebudujete, alebo nahradíte hĺbkovou mapou.

Na dlhú dobu? áno. Ale bez hádania: v troch alebo štyroch behoch môžete vidieť presný dôvod.

A druhá technika z toho istého videa: na previnilý obrázok sa aplikuje pravidelná mriežka - rovnomerné štvorce cez tvár. Filter prestane vidieť celú tvár, ale znaky zostanú čitateľné po celú generáciu. Mriežka je umiestnená v ľubovoľnom editore alebo je neurónová sieť jednoducho požiadaná, aby „na túto fotografiu umiestnila štvorcovú sieť“.

Preneste pohyb fotoaparátu z akéhokoľvek filmu

Rovnaká technika funguje bez nahradenia tváre. Zoberiete snímku z filmu, vytvoríte z nej hĺbkovú mapu, dáte ju modelu spolu s výzvou – a scénu získate rovnakým pohybom kamery: rovnakým prístupom, rovnakým otočením, rovnakým rytmom.

Takto sa točia upútavky, paródie a reklamy, keď je potrebná „kino“ jazda, no na kameramana so žeriavom nie je rozpočet.

Čo bude ďalej

Poradie je nasledovné: najprv hĺbková mapa - zadarmo v prehliadači, bez sťahovania súboru a bez odpisovania tokenov. Potom samotná generácia - Seedance 2.5 na našej webovej stránke, nechýba ani vývoj postavy a referencie.

Ak niečo nefunguje na prvýkrát, začnite krátkym klipom v trvaní 3 – 5 sekúnd. Zobrazuje pohyb kamery aj správanie tváre a vyžaduje oveľa menej času a žetónov.