Gemini Omni Video: perkara yang boleh dilakukan oleh mod video masa nyata Google

Versi pendek (BLUF)

Gemini Omni ialah mod video masa nyata Google: halakan kamera dan model menerangkan, menterjemah atau nyahpepijat perkara yang dilihatnya secara langsung. Dari mana perkataan "Omni" berasal, perkara yang sebenarnya dilakukan oleh model dengan video, dan perkara yang perlu diketahui oleh pengguna Rusia.

Minggu lepas seorang rakan sekerja menghantar video kepada saya — seseorang menunjukkan almari pakaian mereka pada strim langsung manakala Gemini mengulas tentang pakaian dalam masa nyata dan mencadangkan pakaian. Fikiran pertama: "demo lain yang tidak pernah berfungsi dalam kehidupan sebenar." Fikiran kedua, selepas mengujinya: ia berfungsi. Tidak sempurna, tetapi ia berfungsi.

Dari mana perkataan "Omni" berasal

"Omni" bermaksud "sekaligus." Sama seperti GPT-4o (omni), Gemini kini mempunyai mod di mana model berfungsi dengan teks, suara, imej dan video secara serentak. Bukan satu demi satu. Bukan "bingkai dahulu, jawab kemudian." Sebagai aliran.

Khususnya, Gemini Omni Video boleh mengambil suapan kamera langsung dan bertindak balas terhadap perkara yang berlaku dalam masa nyata. Namakan objek. Baca teks pada skrin. Jawab soalan tentang perkara yang ada dalam bingkai sekarang.

Secara teknikal ini ialah Multimodal Live API. Strim video pergi ke pelayan Google, model memprosesnya dan membalas dengan kelewatan 200–400 ms. Itu sudah terasa seperti perbualan, bukan permintaan-dan-tindak balas.

Apa yang model sebenarnya lakukan dengan video

Adalah wajar untuk memisahkan tiga perkara yang berbeza:

• Menganalisis video yang dimuat naik— anda memasukkan klip dan memintanya untuk menerangkan rakaman atau mencari detik tertentu. Ini telah berfungsi semula pada tahun 2024.
• Mod masa nyata— model menonton melalui kamera bersama-sama dengan anda. Ini pada asasnya berbeza.
• Penjanaan video— di sini Google melancarkan Veo 3 secara berasingan; itu cerita lain dan alat lain.

Dalam mod Omni Live, anda boleh menghalakan telefon anda ke panel elektrik yang rosak dan bertanya "apa yang salah" — dan mendapat jawapan hampir serta-merta, tanpa menunggu muat naik. Atau tunjukkan hidangan di restoran dan pelajari bahan-bahan kasarnya. Atau tunjukkan kod pada monitor anda dan dapatkan maklum balas dengan segera.

Kes sebenar: kod penyahpepijatan melalui kamera

Salah satu senario paling praktikal ialah menstrim skrin anda semasa menyahpepijat. Buka Google AI Studio, hidupkan mod video, tunjukkan IDE anda. Tanya: "mengapa ini nol di sini?" — model melihat surih tindanan sebenar dan menjawab perkara itu.

Saya bekerja seperti ini dengan skrip Python selama kira-kira dua puluh minit. Kependaman rendah, jawapan pada titik. Satu-satunya tangkapan — selepas 20 minit telefon mula panas, jadi saya beralih kepada komputer riba.

Ia juga berfungsi dengan baik dengan dokumen. Letakkan helaian kertas di hadapan kamera, tanya soalan — model membaca teks dan jawapan. Ia kadangkala tersandung pada fon yang luar biasa, tetapi ketepatannya adalah baik secara keseluruhan.

mana tangkapannya

Biar saya jujur ​​tentang apa yang menjengkelkan.

Pertama - akses. Gemini 2.0 dengan Omni Video hidup dalam Google AI Studio dan dalam apl dengan langganan Lanjutan. Ada perbicaraan. Selepas itu — anda bayar. Anda tidak boleh menambah kad bank Rusia. VPN diperlukan bukan sahaja untuk mendaftar, tetapi untuk strim berjalan dengan stabil.

Kedua - privasi. Apabila anda menstrim video ke Google, ia pergi ke suatu tempat. Syarikat itu berkata "kami tidak menyimpannya," tetapi anda mengambilnya atas kepercayaan.

Ketiga — had sesi. Anda tidak boleh menonton selama-lamanya; terdapat had pada panjang aliran. Dan kualiti menurun dengan ketara pada sambungan yang lemah.

Perkara yang perlu dilakukan oleh pengguna Rusia

Dua jalan.

Yang pertama — VPN + Google AI Studio. Ia berfungsi, tetapi dengan sakit kepala: anda memerlukan sambungan yang stabil, kad bukan Rusia, dan kadang-kadang sesi hanya jatuh.

Yang kedua — bina timbunan berfungsi daripada alatan yang tersedia.NeuralSpacemengumpulkan perkhidmatan AI dengan pembayaran dalam rubel, tiada VPN dan tiada kad asing. Untuk video adapenjanaan video— bukan Omni Live, tetapi cukup untuk kebanyakan tugas. Tambahan aberbual dengan model multimodal, kerja imejdanalat suara.

Jika anda secara khusus memerlukan "Saya melihat ke dalam kamera dan bercakap dalam masa nyata" — belum ada perkhidmatan Rusia yang mempunyai format itu. Ia benar-benar inovasi Google. Tetapi jika tugasnya ialah "menganalisis bahan video" atau "menjana kandungan video", alat domestik mengendalikannya juga dan anda bolehmendaftardi sana sekarang tanpa VPN.

Apa yang perlu dipilih bergantung pada tugas. Dan sejauh mana anda sanggup bermain-main dengan VPN untuk demo selama 20 minit.

Soalan Lazim (FAQ)

S: Bagaimanakah saya boleh mendapatkan hasil terbaik daripada AI?
J: Gunakan gesaan terperinci (huraian) dalam bahasa Inggeris; nyatakan butiran gaya dan pemandangan.

S: Bolehkah saya menggunakan kandungan ini secara komersial?
J: Ya, semua kandungan yang dijana adalah milik anda sepenuhnya.