Mélységtérkép a Seedance 2.5 számára: hogyan lehet megkerülni az arcblokkolást

Seedance 2.5 nem hajlandó dolgozni, ha egy felismerhető arc vagy valaki más filmjének egy darabja van a képkockán. Így küzd a cég a hírességek hamisítványai ellen, de a hétköznapi emberekről van szó: egy modell néha még a saját szelfijét is elutasítja. Van megoldás, és ez nem a hackelésről szól. A modell könnyen áthalad a mélységtérképen – egy fekete-fehér képen, ahol a fényerő mutatja a kamera távolságát. Nincsenek rajta arcok, csak a jelenet geometriája. Az alábbiakban bemutatjuk, hogyan készítsünk ingyenesen egy ilyen térképet a videódból, közvetlenül a böngészőben, és mit tegyünk, ha a generáció mégis leesik.

Miért lát egy modell egy hírességet ott, ahol nincs?

Az Seedance szűrők az arcokra vannak kiképezve. Feladatuk egyszerű: megakadályozni, hogy egy híres személy megjelenését meghamisítsák. A probléma az, hogy a „hírnevet” az arc geometriája alapján határozzák meg, nem pedig a kreditekben szereplő név alapján. Hasonló szemforma, ugyanaz az állforma - és ennyi, elutasítás.

A filmfelvételekkel még egyszerűbb: ott működik a szerzői jogvédelem. A modell felismeri a jelenetet, és nem hagyja ki teljesen, még akkor sem, ha csak meg akarja ismételni a kamera mozgását.

Eredmény: két különböző tilalom, de ugyanúgy néz ki - piros hiba és időpocsékolás.

Mélységtérkép: geometria lapok helyett

A mélységtérkép ugyanaz a videó, csak szürkeárnyalatosra rajzolva. Minél közelebb van a tárgy a kamerához, annál világosabb a pixel. A háttér feketévé, a háttér fehérré halványul. Nincs textúra, nincs bőr, nincs szem: csak a jelenet domborműve marad.

Ez egy kulcsfontosságú pont a szűrő számára. Nincs mit ellenőrizni – nincsenek arcok. És a generáció számára minden megvan, amire szüksége van: hol voltak a tárgyak, hová ment a kamera, hogyan változott a terv. Nem másoljuk le valaki más keretét, abból vesszük a mozgást és az elrendezést, a modell pedig a saját képét rajzolja meg, a semmiből.

Őszintén szólva a korlátozásról: ez nem egy „mindent megkerülő gomb”. Ha azonnal közvetlenül egy adott színész arcát kéri, az elutasítás ismét meg fog jönni. A mélységtérkép a geometria és a mozgás problémáját oldja meg, nem a személyiséghelyettesítést.

Hogyan készítsünk mélységi térképet egy videóból - ingyenesen és a szerverre való feltöltés nélkül

Weboldalunkon ez egy külön modell a videó részben: Mélységi térkép (ingyenes). A modellek listájában a MiniMax alatt található. Kijelölsz egy videót, megnyomsz egy gombot, és mindent kiszámolsz a készülékeden.

Mi van benne: a Depth Anything V2 Small modell (licenc Apache 2.0) közvetlenül a böngészőben játszik le az ONNX Runtime Web-en keresztül. Ha van WebGPU, akkor a videokártya számít, ha nem, akkor a processzor biztonsági mentési útvonala működik. A képkockákat a rendszer a WebCodecs-en keresztül elemzi, majd visszaállítja videóvá az eredeti FPS-t és a böngésző által kezelhető maximális felbontást.

A kimenet MP4 vagy WebM – amit a böngésző támogat. Az eredmény előnézete, a „Közelebb – világosabb / Közelebb – sötétebb” kapcsoló és a paletták: szürke árnyalatai, Inferno, Viridis. A feldolgozás előrehaladása kockánként látható; a hosszú feldolgozás törölhető.

Két dolog a legfontosabb. Először is: a fájl nem megy sehova - sem a mi szerverünkre, sem valaki máshoz, minden munka az eszközön történik. Másodszor: a tokeneket erre nem írják le; ebben a modellben egyáltalán nincs fizetős API. A modellsúlyok és a motorfájlok gyorsítótárban vannak a böngészőben, így az oldal másodszor is gyorsabban indul el.

Ahol kényelmetlen lesz. A Chrome vagy a Edge szükséges – a WebCodecs nem mindenhol érhető el. A processzoron készült hosszú videó nem számít gyorsnak: egy perc forrásanyag több percig is eltarthat. És jobb, ha nem futtatja a 4K-t gyenge laptopon – kezdje a 720p-vel, nézze meg az eredményt, majd növelje a felbontást.

Karakterfejlesztés: két hiba, ami megöli az eredményt

A második technika ugyanabból a videóból a karakter helyes fejlesztése. Ez egy kép, ahol az arc és a ruhák külön láthatók. Az összeszerelés módjától függ, hogy az arc lebeg-e a generációban, vagy a helyén marad.

Az első hiba: az arc és a ruhák különböző léptékben vannak megrajzolva. A modell nem érti, hogy egy személyről van szó, és maga kezdi kiegészíteni az arányokat. Második hiba: a szkennelés különböző emberek darabjaiból áll össze - ekkor a kimenet egy átlagolt idegen arc, és a szűrő újra működik.

A munkalehetőség egy szkennelés, egy személy, ugyanaz a fény és a szög mindkét részen.

Ha a generáció mégis megbukik egy felismerhető személyről szóló hibával

Előfordul, hogy a mélységtérkép a helyén van, a szkennelés megfelelően van összeállítva, de Seedance továbbra is elutasítja. Ez azt jelenti, hogy a probléma az egyik képen van, és meg kell találnunk.

A módszer egyszerű - az eltávolítás módszere. Egyenként eltávolítja a hivatkozásokat, és újrakezdi. Amint elmúlik a generáció, az utolsó eltávolított kép volt a hibás. Aztán vagy újjáépíted, vagy lecseréled egy mélységi térképre.

Hosszú ideig? Igen. De nem találgatva: három-négy menetben láthatja a pontos okot.

És a második technika ugyanabból a videóból: egy szabályos rácsot alkalmaznak a bűnös képre - egyenletes négyzetekkel az arc felett. A szűrő nem látja a teljes arcot, de a funkciók egy generáción keresztül olvashatóak maradnak. A rácsot bármelyik szerkesztőbe helyezik, vagy a neurális hálózatot egyszerűen megkérik, hogy „tegyen egy négyzetrácsot erre a fényképre”.

A kamera mozgásának átvitele bármilyen filmből

Ugyanez a technika az arc cseréje nélkül is működik. Kiveszsz egy képkockát egy filmből, készítesz belőle mélységi térképet, a prompttal együtt odaadod a modellnek - és ugyanazzal a kameramozgással kapod meg a jelenetet: ugyanaz a megközelítés, ugyanaz a fordulat, ugyanaz a ritmus.

Így forgatnak trailereket, paródiákat és reklámokat, amikor „moziszerű” utazásra van szükség, de a darus operatőrnek nincs költségvetése.

Mi lesz ezután

A sorrend a következő: először a mélységtérkép - ingyenes a böngészőben, fájl letöltése és tokenek kiírása nélkül. Aztán maga a generáció - Seedance 2.5 weboldalunkon, van karakterfejlesztés és referenciák is.

Ha valami nem működik az első alkalommal, kezdje egy rövid, 3-5 másodperces klippel. Mind a kamera mozgását, mind az arc viselkedését mutatja, és sokkal kevesebb időt és jelzőket vesz igénybe.