Gemini Omni Video: mitä videotilaa Google voi tehdä reaaliajassa

Lyhyesti pääasiasta (BLUF)

Gemini Omni — videotila Google reaaliajassa: osoita kamera, ja malli selittää, kääntää tai jäsentää näkemänsä livenä. Selvitetään, mistä sana "Omni" tulee, mitä malli tekee videolla ja mitä venäläinen käyttäjä voi tehdä tällä kaikella.

Viime viikolla kollegat julkaisivat videon henkilöstä, joka esitti vaatekaappiaan livenä, ja Kaksoset kommentoivat esineitä reaaliajassa ja ehdottivat ulkonäköä. Ensimmäinen ajatukseni: "No, vain yksi demo, joka ei toimi oikeassa elämässä." Toinen ajatus testauksen jälkeen: se toimii. Ei täydellinen, mutta toimii.

Mistä sana "omni" tulee?

"Omni" tarkoittaa "kaikki kerralla". Sekä GPT-4o:ssa (omni) että Geminissä on nyt tila, jossa malli toimii tekstin, äänen, kuvien ja videon kanssa samanaikaisesti. Ei vuorotellen. Ei "ensin kehys, sitten vastaus". Vain virtaus.

Erityisesti Gemini Omni Video voi vastaanottaa suoran streamin kamerasta ja reagoida tapahtumiin reaaliajassa. Nimeä esineitä. Lue tekstiä näytöltä. Vastaa kysymyksiin siitä, mitä kehyksessä juuri nyt näytetään.

Teknisesti sitä kutsutaan Multimodal Live APIksi. Videovirta menee Googlen palvelimille, malli käsittelee sen ja vastaa 200–400 ms:n viiveellä. Tämä näyttää jo keskustelulta, ei pyynnöltä-vastaukselta.

Mitä malli tarkalleen ottaen tekee videolla?

On tärkeää erottaa kolme eri asiaa:

• Ladatun videon analyysi— lataat videon, pyydät heitä kuvailemaan tai löytämään oikean hetken. Tämä toimi jo vuonna 2024.
• Reaaliaikainen tila— malli katsoo kameran läpi kanssasi. Tämä on jo pohjimmiltaan erilaista.
• Videon sukupolvi- Tässä Google julkaisi Veo 3:n erikseen, tämä on eri tarina ja eri työkalu.

Omni Live -tilassa voit osoittaa puhelimellasi rikkinäistä sähköpaneelia ja kysyä "mikä on vialla" - ja saat vastauksen lähes välittömästi odottamatta sen latautumista. Tai näytä ruokalaji ravintolassa ja selvitä likimääräinen koostumus. Tai näytä koodisi näytössä ja saat heti kommentin.

Todellinen tapaus: koodin purkaminen kameran kautta

Yksi toimivimmista skenaarioista on suoratoistaa näyttöä virheenkorjauksen aikana. Avaa Google AI Studio, ota videotila käyttöön ja näytä IDE. Kysyt: "miksi täällä on tyhjää?" — malli näkee tietyn pinojäljen ja vastaa pisteeseen.

Työskentelin tällä tavalla Python-skriptillä noin kaksikymmentä minuuttia. Viive on lyhyt, vastaukset ovat asianmukaisia. Ainoa asia on, että 20 minuutin kuluttua puhelin alkoi lämmetä, minun piti vaihtaa kannettavaan tietokoneeseen.

Toimii hyvin myös asiakirjojen kanssa. Laitat paperin kameran eteen, esität kysymyksiä - malli lukee tekstin ja vastaa. Epätyypillisille fonteille se tekee joskus virheitä, mutta kaiken kaikkiaan tarkkuus on kohtuullinen.

Missä saalis?

Kerron sinulle rehellisesti, mikä minua ärsyttää.

Ensinnäkin pääsy. Gemini 2.0 ja Omni Video toimii Google AI Studiossa ja Advanced-tilaussovelluksessa. On koeaika. Sitten - maksa. Et voi lisätä venäläistä pankkikorttia. VPN:ää tarvitaan rekisteröinnin lisäksi myös virran vakaaseen toimintaan.

Toiseksi yksityisyys. Kun suoratoistat videon Googlessa, se menee jonnekin. Yhtiö sanoo "emme säästä", mutta se on vain heidän sanansa.

Kolmanneksi istuntojen rajat. Et voi katsoa loputtomasti; virran pituudelle on rajoituksia. Ja työn laatu laskee huomattavasti, kun Internet on huono.

Mitä venäläisen käyttäjän pitäisi tehdä?

Kaksi tapaa.

Ensimmäinen on VPN + Google AI Studio. Se toimii, mutta hermoilla: tarvitset vakaan yhteyden, ei-venäläisen kortin, ja joskus istunto vain katkeaa.

Toinen on koota toimiva pino käytettävissä olevista työkaluista. PäälläNeuralSpacekerätty AI-palveluita ilman VPN:ää ja ilman valuuttakortteja. Videota varten onvideon sukupolvi- ei Omni Live, mutta riittää useimpiin tehtäviin. Pluskeskustella multimodaalisten mallien kanssa, kuvien kanssa työskenteleminen, ääniinstrumentit.

Jos tarvitset vain "katsoa kameraan ja kommunikoida reaaliajassa", missään venäläisissä palveluissa ei vielä ole tätä muotoa. Tämä on todella Googlen innovaatio. Mutta jos tehtävänä on "analysoida videomateriaalia" tai "luoda videosisältöä", niin kotimaiset työkalut kuinrekisteröidyVoit tehdä sen siellä nyt ilman VPN:ää.

Mitä valita, riippuu tehtävästä. Ja se riippuu siitä, kuinka halukas olet tinkimään VPN: n kanssa 20 minuutin demon vuoksi.

Usein kysytyt kysymykset (FAQ)

Kysymys: Kuinka saada paras tulos hermoverkosta?
Vastaus: Käytä yksityiskohtaisia ​​kehotteita (kuvauksia) englanniksi, aseta kohtauksen tyyli ja yksityiskohdat.

Kysymys: Voidaanko näitä materiaaleja käyttää kaupallisiin tarkoituksiin?
Vastaus: Kyllä, luotu sisältö on kokonaan sinun.