Gemini Omni Video: vad videoläge Google kan göra i realtid

Kort om det viktigaste (BLUF)

Gemini Omni — videoläge Google i realtid: rikta kameran så förklarar, översätter eller analyserar modellen vad hon ser live. Låt oss ta reda på var ordet "Omni" kom ifrån, vad modellen gör med video och vad den ryska användaren kan göra med allt detta.

Förra veckan lade kollegor upp en video där en person visar sin garderob live och Gemini kommenterar föremål i realtid och föreslår utseende. Min första tanke: "ja, bara ännu en demo som inte fungerar i verkligheten." Andra tanke, efter testning: det fungerar. Inte perfekt, men det fungerar.

Var kommer ordet "Omni" ifrån?

"Omni" betyder "alla på en gång." Både GPT-4o (omni) och Gemini har nu ett läge där modellen arbetar med text, röst, bilder och video samtidigt. Inte i svängar. Inte "först ramen, sedan svaret." Bara flödet.

Specifikt kan Gemini Omni Video ta emot en liveström från en kamera och reagera på vad som händer i realtid. Namnge objekt. Läs text på skärmen. Svara på frågor om vad som visas i ramen just nu.

Tekniskt sett kallas det Multimodal Live API. Videoströmmen går till Google-servrarna, modellen bearbetar den och svarar med en fördröjning på 200–400 ms. Detta ser redan ut som en konversation, inte ett förfrågan-svar.

Vad exakt gör modellen med videon?

Det är viktigt att skilja på tre olika saker:

• Analys av nedladdad video — du laddar upp en video, ber dem att beskriva eller hittar rätt ögonblick. Detta fungerade redan 2024.
• Realtidsläge — modellen tittar genom kameran med dig. Detta är redan fundamentalt annorlunda.
• Videogenerering - här Google lanserade Veo 3 separat, det här är en annan historia och ett annat verktyg.

I Omni Live-läget kan du rikta din telefon mot en trasig elpanel och fråga "vad är fel" - och få ett svar nästan direkt, utan att vänta på att den ska laddas. Eller visa rätten på en restaurang och ta reda på den ungefärliga sammansättningen. Eller visa din kod på monitorn och få en kommentar direkt.

Verkligt fodral: demontering av kod genom kameran

Ett av de mest fungerande scenarierna är att streama skärmen under felsökning. Öppna Google AI Studio, slå på videoläge, visa IDE. Du frågar: "varför är det noll här?" — modellen ser en specifik stacktrace och svarar på punkten.

Jag arbetade så här med ett Python-skript i ungefär tjugo minuter. Förseningen är kort, svaren är raka. Det enda är att efter 20 minuter började telefonen bli varm, jag var tvungen att byta till en bärbar dator.

Det fungerar också bra med dokument. Du lägger pappret framför kameran, ställer frågor – modellen läser texten och svarar. För icke-standardtypsnitt gör det ibland misstag, men överlag är noggrannheten anständig.

Var är haken?

Jag ska berätta ärligt om vad som irriterar mig.

För det första, tillgång. Gemini 2.0 med Omni Video finns i Google AI Studio och den avancerade prenumerationsappen. Det finns en provperiod. Sedan - betala. Du kan inte lägga till ett ryskt bankkort. VPN behövs inte bara för registrering, utan också för stabil drift av strömmen.

För det andra, integritet. När du streamar en video i Google, hamnar den någonstans. Företaget säger "vi sparar inte", men det är bara deras ord.

För det tredje, sessionsgränser. Du kan inte titta oändligt; det finns restriktioner för längden på strömmen. Och kvaliteten på arbetet sjunker märkbart när internet är dåligt.

Vad ska en rysk användare göra?

Två sätt.

Den första är VPN + Google AI Studio. Det fungerar, men med nerver: du behöver en stabil anslutning, ett icke-ryskt kort, och ibland faller sessionen bara av.

Det andra är att montera en arbetsstapel från tillgängliga verktyg. På Neural Space samlade AI-tjänster utan VPN och utan valutakort. För video finns det videogenerering – inte Omni Live, men tillräckligt för de flesta uppgifter. Plus chatta med multimodala modeller, arbeta med bilder, röstinstrument.

Om du bara behöver "titta in i kameran och kommunicera i realtid", har ingen av de ryska tjänsterna ännu detta format. Det här är verkligen en innovation Google. Men om uppgiften är "att analysera videomaterial" eller "att generera videoinnehåll", både inhemska verktyg och register Du kan göra det där just nu utan ett VPN.

Vad du ska välja beror på uppgiften. Och det beror på hur villig du är att mixtra med en VPN för en 20-minuters demo.

Vanliga frågor (FAQ)

Fråga: Hur får man det bästa resultatet från ett neuralt nätverk?
Svar: Använd detaljerade uppmaningar (beskrivningar) på engelska, ställ in stilen och detaljerna för scenen.

Fråga: Kan dessa material användas för kommersiella ändamål?
Svar: Ja, det genererade innehållet är helt och hållet ditt.