जेमिनी ओमनी वीडियो: Google का रीयल-टाइम वीडियो मोड क्या कर सकता है
लघु संस्करण (BLUF)
जेमिनी ओमनी Google का रीयलटाइम वीडियो मोड है: कैमरे को इंगित करें, और मॉडल जो लाइव देखता है उसे समझाता है, अनुवाद करता है या डीबग करता है। "ओमनी" शब्द कहां से आया है, मॉडल वास्तव में वीडियो के साथ क्या करता है, और एक रूसी उपयोगकर्ता को क्या पता होना चाहिए।
पिछले हफ्ते एक सहकर्मी ने मुझे एक वीडियो भेजा था - कोई व्यक्ति लाइव स्ट्रीम पर अपना पहनावा दिखाता है जबकि जेमिनी वास्तविक समय में कपड़ों पर टिप्पणी करता है और पोशाक का सुझाव देता है। पहला विचार: "एक और डेमो जो वास्तविक जीवन में कभी काम नहीं करता।" दूसरा विचार, इसका परीक्षण करने के बाद: यह काम करता है। बिल्कुल नहीं, लेकिन यह काम करता है।
"ओमनी" शब्द कहाँ से आया है?
"ओमनी" का अर्थ है "एक ही बार में।" GPT-4o (ओमनी) की तरह, जेमिनी के पास अब एक मोड है जहां मॉडल टेक्स्ट, आवाज, छवियों और वीडियो के साथ एक साथ काम करता है। एक के बाद एक नहीं. "पहले फ़्रेम करें, बाद में उत्तर दें" नहीं। एक धारा के रूप में.
विशेष रूप से, जेमिनी ओमनी वीडियो लाइव कैमरा फ़ीड ले सकता है और वास्तविक समय में क्या हो रहा है उस पर प्रतिक्रिया कर सकता है। वस्तुओं को नाम दें. स्क्रीन पर टेक्स्ट पढ़ें. इस समय फ़्रेम में क्या है, इसके बारे में प्रश्नों के उत्तर दें।
तकनीकी रूप से यह मल्टीमॉडल लाइव एपीआई है। वीडियो स्ट्रीम Google के सर्वर पर जाती है, मॉडल इसे संसाधित करता है और 200-400 एमएस की देरी से उत्तर देता है। यह पहले से ही एक वार्तालाप जैसा लगता है, अनुरोध-और-प्रतिक्रिया नहीं।
मॉडल वास्तव में वीडियो के साथ क्या करती है
यह तीन अलग-अलग चीजों को अलग करने लायक है:
- अपलोड किए गए वीडियो का विश्लेषण किया जा रहा है- आप एक क्लिप डालते हैं और उससे फ़ुटेज का वर्णन करने या कोई विशिष्ट क्षण ढूंढने के लिए कहते हैं। यह 2024 में पहले ही काम कर चुका है।
- वास्तविक समय मोड- मॉडल आपके साथ कैमरे के माध्यम से देखती है। यह मौलिक रूप से भिन्न है.
- वीडियो पीढ़ी— यहां Google ने Veo 3 को अलग से लॉन्च किया; वह एक और कहानी और एक और उपकरण है।
ओमनी लाइव मोड में आप अपने फोन को टूटे हुए विद्युत पैनल पर इंगित कर सकते हैं और पूछ सकते हैं "क्या गड़बड़ है" - और बिना किसी अपलोड प्रतीक्षा के लगभग तुरंत उत्तर प्राप्त करें। या किसी रेस्तरां में कोई व्यंजन दिखाएं और उसकी कच्ची सामग्री के बारे में जानें। या अपने मॉनिटर पर कोड दिखाएं और तुरंत फीडबैक प्राप्त करें।
एक वास्तविक मामला: कैमरे के माध्यम से डिबगिंग कोड
सबसे व्यावहारिक परिदृश्यों में से एक डिबगिंग के दौरान आपकी स्क्रीन को स्ट्रीम करना है। Google AI स्टूडियो खोलें, वीडियो मोड चालू करें, अपना IDE दिखाएं। पूछें: "यह यहाँ शून्य क्यों है?" - मॉडल वास्तविक स्टैक ट्रेस और बिंदु पर उत्तर देखता है।
मैंने लगभग बीस मिनट तक पायथन स्क्रिप्ट के साथ इस तरह काम किया। कम विलंबता, ऑन-पॉइंट उत्तर। एकमात्र दिक्कत - 20 मिनट के बाद फोन गर्म होने लगा, इसलिए मैंने लैपटॉप चालू कर लिया।
यह दस्तावेज़ों के साथ भी अच्छा काम करता है। कैमरे के सामने कागज की एक शीट रखें, प्रश्न पूछें - मॉडल पाठ पढ़ता है और उत्तर देता है। यह कभी-कभी असामान्य फ़ॉन्ट पर विफल हो जाता है, लेकिन सटीकता कुल मिलाकर अच्छी है।
पकड़ कहाँ है?
मुझे इस बारे में ईमानदार होने दीजिए कि कष्टप्रद क्या है।
पहला - पहुंच। ओमनी वीडियो के साथ जेमिनी 2.0 Google AI स्टूडियो और उन्नत सदस्यता के साथ ऐप में रहता है। वहाँ एक परीक्षण है. उसके बाद - आप भुगतान करें। आप रूसी बैंक कार्ड नहीं जोड़ सकते. केवल साइन अप करने के लिए ही नहीं, बल्कि स्ट्रीम को स्थिर रूप से चलाने के लिए भी वीपीएन की आवश्यकता होती है।
दूसरा - गोपनीयता. जब आप Google पर वीडियो स्ट्रीम करते हैं, तो वह कहीं चला जाता है। कंपनी कहती है, "हम इसे संग्रहीत नहीं करते हैं," लेकिन आप इसे विश्वास पर लेते हैं।
तीसरा- सत्र सीमा. आप हमेशा के लिए नहीं देख सकते; धारा की लंबाई पर सीमाएं हैं। और खराब कनेक्शन पर गुणवत्ता में उल्लेखनीय गिरावट आती है।
एक रूसी उपयोगकर्ता को क्या करना चाहिए
दो रास्ते.
पहला - वीपीएन + गूगल एआई स्टूडियो। यह काम करता है, लेकिन सिरदर्द के साथ: आपको एक स्थिर कनेक्शन, एक गैर-रूसी कार्ड की आवश्यकता होती है, और कभी-कभी सत्र बस समाप्त हो जाता है।
दूसरा - उपलब्ध उपकरणों से एक कार्यशील स्टैक बनाएं।न्यूरलस्पेसरूबल में भुगतान, कोई वीपीएन और कोई विदेशी कार्ड के साथ एआई सेवाएं एकत्र करता है। वीडियो के लिए वहाँ हैवीडियो पीढ़ी- ओमनी लाइव नहीं, लेकिन अधिकांश कार्यों के लिए पर्याप्त। प्लस एमल्टीमॉडल मॉडल के साथ चैट करें, छवि कार्यऔरआवाज उपकरण.
यदि आपको विशेष रूप से "मैं कैमरे में देखता हूं और वास्तविक समय में बात करता हूं" की आवश्यकता है - तो किसी भी रूसी सेवा के पास अभी तक वह प्रारूप नहीं है। यह वास्तव में Google का आविष्कार है। लेकिन यदि कार्य "वीडियो सामग्री का विश्लेषण करना" या "वीडियो सामग्री तैयार करना" है, तो घरेलू उपकरण भी इसे संभाल सकते हैं, और आप ऐसा कर सकते हैंपंजीकरण करवानाअभी वहां बिना वीपीएन के।
क्या चुनना है यह कार्य पर निर्भर करता है। और आप 20 मिनट के डेमो के लिए वीपीएन के साथ कितना खिलवाड़ करने को तैयार हैं।
अक्सर पूछे जाने वाले प्रश्न (एफएक्यू)
प्रश्न: मैं एआई से सर्वोत्तम परिणाम कैसे प्राप्त कर सकता हूं?
उत्तर: अंग्रेजी में विस्तृत संकेतों (विवरण) का उपयोग करें; शैली और दृश्य विवरण निर्दिष्ट करें।
प्रश्न: क्या मैं इस सामग्री का व्यावसायिक उपयोग कर सकता हूँ?
उत्तर: हां, सभी तैयार की गई सामग्री पूरी तरह से आपकी है।