Gemini Omni Video: milyen videomódot tud a Google valós időben csinálni

Röviden a legfontosabbról (BLUF)

Gemini Omni – videó mód Google valós időben: irányítsa a kamerát, és a modell elmagyarázza, lefordítja vagy elemzi, amit élőben lát. Nézzük meg, honnan származik az „Omni” szó, mit csinál a modell a videóval, és mit tehet az orosz felhasználó mindezzel.

Múlt héten a kollégák közzétettek egy videót, amelyen egy személy élőben mutatja a ruhatárát, az Ikrek pedig valós időben kommentálta a tételeket, és kinézetet sugall. Az első gondolatom: "Nos, csak egy újabb demó, ami a való életben nem működik." Második gondolat, tesztelés után: működik. Nem tökéletes, de működik.

Honnan származik az "Omni" szó?

Az "Omni" jelentése "egyszerre". A GPT-4o (omni) és a Gemini is rendelkezik olyan üzemmóddal, amelyben a modell egyszerre dolgozik szöveggel, hanggal, képekkel és videóval. Nem felváltva. Nem „először a keret, aztán a válasz”. Csak az áramlás.

Pontosabban, a Gemini Omni Video képes élő közvetítést fogadni a kameráról, és valós időben reagálni a történésekre. Nevezze meg az objektumokat. Olvasson szöveget a képernyőn. Válaszoljon a jelenleg a keretben megjelenő kérdésekre.

Technikailag Multimodal Live API-nak hívják. A videofolyam a Google szervereire kerül, a modell feldolgozza és 200-400 ms késéssel válaszol. Ez már beszélgetésnek tűnik, nem kérés-válasz.

Pontosan mit csinál a modell a videóval?

Fontos különbséget tenni három különböző dolog között:

• A letöltött videó elemzése— feltölt egy videót, megkéri őket, hogy írják le, vagy találják meg a megfelelő pillanatot. Ez 2024-ben működött.
• Valós idejű mód— a modell veled együtt néz a kamerán keresztül. Ez már alapvetően más.
• Videó generálás- itt a Google külön indította el a Veo 3-at, ez más történet és más eszköz.

Omni Live módban telefonját egy törött elektromos panelre irányíthatja, és megkérdezheti, hogy „mi a baj” – és szinte azonnal választ kap, anélkül, hogy megvárná a betöltődést. Vagy mutassa meg az ételt egy étteremben, és megtudja a hozzávetőleges összetételt. Vagy mutassa meg kódját a monitoron, és azonnal kapjon megjegyzést.

Valódi eset: a kód szétszedése a kamerán keresztül

Az egyik legmegfelelőbb forgatókönyv a képernyő streamelése hibakeresés közben. Nyissa meg a Google AI Studio-t, kapcsolja be a videó módot, mutassa meg az IDE-t. Azt kérdezed: "miért van itt null?" — a modell egy meghatározott veremnyomot lát, és reagál a pontra.

Körülbelül húsz percig így dolgoztam egy Python szkripttel. A késés rövid, a válaszok lényegre törőek. Csak annyi, hogy 20 perc múlva kezdett felmelegedni a telefon, át kellett váltanom laptopra.

Dokumentumokkal is jól működik. A papírt a kamera elé teszed, kérdéseket teszel fel – a modell felolvassa a szöveget és válaszol. A nem szabványos betűtípusok esetében néha hibázik, de összességében a pontosság megfelelő.

Hol a fogás?

Megmondom őszintén, hogy mi idegesít.

Először is a hozzáférés. A Gemini 2.0 az Omni Videóval a Google AI Stúdióban és az Advanced előfizetéses alkalmazásban működik. Próbaidőszak van. Aztán - fizetni. Nem adhat hozzá orosz bankkártyát. A VPN-re nem csak a regisztrációhoz van szükség, hanem a stream stabil működéséhez is.

Másodszor, a magánélet. Ha streamelsz egy videót a Google-ban, az elmegy valahova. A cég azt mondja, hogy „nem spórolunk”, de ez csak az ő szavuk.

Harmadszor, a munkamenetek korlátai. Nem nézheted a végtelenségig; korlátozások vannak a patak hosszára vonatkozóan. A munka minősége pedig észrevehetően csökken, ha gyenge az internet.

Mit tegyen egy orosz felhasználó?

Két módon.

Az első a VPN + Google AI Studio. Működik, de idegekkel: kell egy stabil kapcsolat, egy nem orosz kártya, és néha egyszerűen leesik a munkamenet.

A második egy működő köteg összeállítása a rendelkezésre álló eszközökből. OnNeuralSpaceAI szolgáltatásokat VPN és valutakártyák nélkül gyűjtött. Videóhoz vanvideó generálás- nem Omni Live, de a legtöbb feladathoz elegendő. Pluszchat multimodális modellekkel, képekkel dolgozik, hangszerek.

Ha csak „nézzen be a kamerába, és valós időben kommunikáljon”, akkor még egyik orosz szolgáltatás sem rendelkezik ezzel a formátummal. Ez valóban a Google innovációja. De ha „videóanyag elemzése” vagy „videótartalom generálása” a feladat, mind a hazai eszközök, mindnyilvántartásOtt most megteheti VPN nélkül.

A feladattól függ, hogy mit válasszunk. És ez attól is függ, mennyire vagy hajlandó VPN-t trükközni egy 20 perces bemutató kedvéért.

Gyakran ismételt kérdések (GYIK)

Kérdés: Hogyan lehet a legjobb eredményt elérni egy neurális hálózatból?
Válasz: Használjon részletes angol nyelvű promptokat (leírásokat), állítsa be a jelenet stílusát és részleteit.

Kérdés: Felhasználhatók-e ezek az anyagok kereskedelmi célokra?
Válasz: Igen, a generált tartalom teljes mértékben az Öné.