Syvyyskartta Seedance 2.5: kuinka ohittaa kasvojen eston

Seedance 2.5 kieltäytyy toimimasta, jos kuvassa on tunnistettavat kasvot tai pala jonkun muun elokuvaa. Näin yritys taistelee julkkisten väärennöksiä vastaan, mutta se tulee tavallisiin ihmisiin: malli hylkää joskus jopa oman selfien. On olemassa kiertotapa, eikä kyse ole hakkeroinnista. Malli kulkee helposti syvyyskartan läpi - mustavalkoisen kuvan, jossa kirkkaus näyttää etäisyyden kameraan. Siinä ei ole kasvoja, vain kohtauksen geometria. Alla kerrotaan, kuinka voit tehdä sellaisen kartan videostasi ilmaiseksi suoraan selaimessa ja mitä tehdä, jos sukupolvi vielä putoaa.

Miksi malli näkee julkkiksen siellä, missä sitä ei ole?

Suodattimet Seedance on koulutettu kasvoille. Heidän tehtävänsä on yksinkertainen: estää kuuluisan henkilön ulkonäön väärentäminen. Ongelmana on, että he määrittelevät "kuuluisuuden" kasvojen geometrian perusteella, eivät krediitissä olevan nimen perusteella. Samanlainen silmien muoto, sama leuan muoto - ja siinä se, kieltäytyminen.

Se on vielä helpompaa elokuvamateriaalin kanssa: tekijänoikeussuoja toimii siellä. Malli tunnistaa kohtauksen eikä missaa sitä kokonaan, vaikka haluaisi vain toistaa kameran liikkeen.

Tulos: kaksi erilaista kieltoa, mutta se näyttää samalta - punainen virhe ja ajanhukkaa.

Syvyyskartta: geometria pintojen sijaan

Syvyyskartta on sama video, vain piirretty uudelleen harmaasävyiksi. Mitä lähempänä kohde on kameraa, sitä kirkkaampi pikseli on. Tausta haalistuu mustaksi, tausta valkoiseksi. Ei tekstuuria, ei ihoa, ei silmiä: jäljelle jää vain kohtauksen helpotus.

Tämä on suodattimen avainkohta. Ei ole mitään tarkistettavaa - ei ole kasvoja. Ja sukupolvelle löytyy kaikki mitä tarvitset: missä esineet olivat, minne kamera oli menossa, miten suunnitelma muuttui. Emme kopioi jonkun toisen kehystä, otamme siitä liikkeen ja asetelman, ja malli piirtää oman kuvansa, tyhjästä.

Rehellisesti sanottuna rajoituksesta: se ei ole "ohita kaikki -painike". Jos kysyt välittömästi suoraan tietyn näyttelijän kasvoja, kieltäytyminen tulee uudelleen. Syvyyskartta ratkaisee geometrian ja liikkeen ongelman, ei persoonallisuuden korvaamisen.

Kuinka tehdä syvyyskartta videosta - ilmaiseksi ja lataamatta palvelimelle

Verkkosivustollamme tämä on erillinen malli videoosiossa: Syvyyskartta (ilmainen). Se on malliluettelossa kohdassa MiniMax. Valitset videon, painat painiketta ja kaikki lasketaan laitteellesi.

Sisältö: malli Depth Anything V2 Small (lisenssi Apache 2.0) toistetaan suoraan selaimessa tunnuksen ONNX Runtime Web kautta. Jos sinulla on WebGPU, näytönohjain laskee, jos ei, prosessorin varmuuskopiopolku toimii. Kehykset jäsennetään WebCodecs:n kautta ja kootaan sitten takaisin videoksi alkuperäisellä numerolla FPS ja selaimesi enimmäisresoluutiolla.

Tulos on MP4 tai WebM - mitä selain tukee. Siellä on esikatselu tuloksesta, kytkin "Lähempänä - vaaleampi / lähempänä - tummempi" ja paletit: harmaan sävyt, Inferno, Viridis. Käsittelyn edistyminen näkyy kehys kuvalta; pitkä käsittely voidaan peruuttaa.

Kaksi tärkeintä asiaa. Ensinnäkin: tiedosto ei mene minnekään - ei palvelimellemme eikä kenellekään muulle, kaikki työ tapahtuu laitteella. Toiseksi: rahakkeita ei kirjata pois tästä; tässä mallissa ei ole lainkaan maksullista API:ta. Mallin painot ja moottoritiedostot tallennetaan selaimen välimuistiin, joten sivu käynnistyy nopeammin toisella kerralla.

Missä siitä tulee epämukavaa. Tarvitset Chrome tai Edge - WebCodecs ei ole saatavilla kaikkialla. Pitkää videota prosessorilla ei pidetä nopeana: minuutti lähdemateriaalia voi kestää useita minuutteja. Ja on parempi olla käyttämättä 4K heikolla kannettavalla tietokoneella - aloita numerolla 720p, katso tulos ja nosta sitten resoluutiota.

Hahmon kehitys: kaksi virhettä, jotka tappavat tuloksen

Toinen tekniikka samasta videosta on hahmon oikea kehittäminen. Tämä on yksi kuva, jossa kasvot ja vaatteet näkyvät erikseen. Se riippuu siitä, kuinka se on koottu, kelluuko kasvo sukupolvessa vai pysyykö paikoillaan.

Ensimmäinen virhe: kasvot ja vaatteet piirretään eri mittakaavassa. Malli ei ymmärrä, että tämä on yksi henkilö, ja alkaa täydentää mittasuhteita itse. Virhe kaksi: skannaus on koottu eri ihmisten palasista - silloin tulos on keskiarvoistettu avaruuskasvo, ja suodatin toimii taas.

Työvaihtoehtona on yksi skannaus, yksi henkilö, sama valo ja kulma molemmissa osissa.

Jos sukupolvi epäonnistuu edelleen tunnistettavissa olevaa henkilöä koskevalla virheellä

Sattuu niin, että syvyyskartta on paikallaan, skannaus on koottu oikein, mutta Seedance kieltäytyy silti. Tämä tarkoittaa, että ongelma on yhdessä kuvista, ja meidän on löydettävä se.

Menetelmä on yksinkertainen - eliminointimenetelmä. Poistat viitteet yksitellen ja aloitat alusta. Heti kun sukupolvi vaihtuu, viimeinen poistettu kuva oli syyllinen. Sitten joko rakennat sen uudelleen tai korvaat sen syvyyskartalla.

Pitkästä aikaa? Kyllä. Mutta arvaamatta: kolmessa tai neljässä juoksussa näet tarkan syyn.

Ja toinen tekniikka samasta videosta: syyllinen kuvaan laitetaan tavallinen ruudukko - jopa kasvojen yli. Suodatin lakkaa näkemästä koko kasvoja, mutta ominaisuudet pysyvät luettavissa sukupolven ajan. Ruudukko sijoitetaan mihin tahansa editoriin tai hermoverkkoa pyydetään yksinkertaisesti "laittamaan neliöruudukko tähän valokuvaan".

Siirrä kameran liike mistä tahansa elokuvasta

Sama tekniikka toimii vaihtamatta kasvoja. Otat ruudun elokuvasta, teet siitä syvyyskartan, annat sen mallille kehotteen mukana - ja saat kohtauksen samalla kameraliikkeellä: sama lähestymistapa, sama käännös, sama rytmi.

Näin kuvataan trailereita, parodioita ja mainoksia, kun "elokuvallista" ajelua tarvitaan, mutta nosturikameralle ei ole budjettia.

Mitä seuraavaksi

Järjestys on seuraava: ensin syvyyskartta - ilmainen selaimessa, lataamatta tiedostoa ja kirjoittamatta pois tunnuksia. Sitten itse sukupolvi - Seedance 2.5 verkkosivuillamme, siellä on myös hahmojen kehitys ja viittaukset.

Jos jokin ei toimi ensimmäisellä kerralla, aloita lyhyellä 3-5 sekunnin pätkällä. Se näyttää sekä kameran liikkeen että kasvojen käyttäytymisen ja vie paljon vähemmän aikaa ja tokeneja.