Gemini Omni الفيديو: ما يمكن أن يفعله وضع فيديو Google في الوقت الفعلي

باختصار عن الشيء الرئيسي (BLUF)

Gemini Omni - وضع الفيديو في الوقت الفعلي من Google: قم بتوجيه الكاميرا، وسيقوم نموذج مباشر بشرح ما يراه أو ترجمته أو تفكيكه. دعونا نتعرف على مصدر كلمة "Omni"، وما يفعله النموذج بالفيديو، وما يمكن للمستخدم الروسي فعله بكل هذا.

في الأسبوع الماضي، نشر الزملاء مقطع فيديو لشخص يعرض خزانة ملابسه مباشرة، ويعلق Gemini على العناصر في الوقت الفعلي ويقترح المظهر. فكرتي الأولى: "حسنًا، مجرد عرض توضيحي آخر لا يعمل في الحياة الواقعية." الفكرة الثانية، بعد الاختبار: إنها تعمل. ليست مثالية، ولكنها تعمل.

من أين أتت كلمة "أومني"؟

"أومني" تعني "الكل مرة واحدة". يحتوي كل من GPT-4o (omni) وGemini على وضع يعمل فيه النموذج مع النص والصوت والصور والفيديو في وقت واحد. ليس بالتناوب. ليس "أولاً الإطار، ثم الإجابة". مجرد التدفق.

على وجه التحديد، يمكن أن يتلقى الفيديو Gemini Omni بثًا مباشرًا من الكاميرا ويتفاعل مع ما يحدث في الوقت الفعلي. تسمية الكائنات. قراءة النص على الشاشة. أجب عن الأسئلة المتعلقة بما يتم عرضه في الإطار الآن.

من الناحية الفنية يطلق عليه Multimodal Live API. ينتقل دفق الفيديو إلى خوادم Google، ويقوم النموذج بمعالجته ويستجيب بتأخير قدره 200-400 مللي ثانية. يبدو هذا بالفعل وكأنه محادثة، وليس استجابة لطلب.

ما الذي يفعله النموذج بالضبط بالفيديو؟

ومن المهم التمييز بين ثلاثة أشياء مختلفة:

• تحليل الفيديو الذي تم تنزيله - تقوم بتحميل مقطع فيديو، وتطلب منهم وصف اللحظة المناسبة أو العثور عليها. نجح هذا مرة أخرى في عام 2024.
• وضع الوقت الحقيقي — النموذج ينظر من خلال الكاميرا معك. وهذا بالفعل مختلف جذريًا.
• توليد الفيديو - هنا أطلقت جوجل Veo 3 بشكل منفصل، هذه قصة مختلفة وأداة مختلفة.

في وضع Omni Live، يمكنك توجيه هاتفك نحو لوحة كهربائية مكسورة والسؤال "ما المشكلة" - والحصول على إجابة على الفور تقريبًا، دون انتظار تحميلها. أو اعرض الطبق في أحد المطاعم واكتشف التركيبة التقريبية. أو أظهر الكود الخاص بك على الشاشة واحصل على تعليق على الفور.

الحالة الحقيقية: تفكيك الكود من خلال الكاميرا

أحد السيناريوهات الأكثر عملية هو دفق الشاشة أثناء تصحيح الأخطاء. افتح Google AI Studio، وقم بتشغيل وضع الفيديو، وإظهار IDE. أنت تسأل: "لماذا يوجد صفر هنا؟" - يرى النموذج تتبعًا مكدسًا محددًا ويستجيب للنقطة.

لقد عملت بهذه الطريقة مع برنامج Python النصي لمدة عشرين دقيقة تقريبًا. التأخير قصير، والإجابات في صلب الموضوع. الشيء الوحيد هو أنه بعد 20 دقيقة، بدأ الهاتف في التسخين، واضطررت إلى التبديل إلى جهاز كمبيوتر محمول.

كما أنه يعمل بشكل جيد مع المستندات. تضع الورقة أمام الكاميرا، وتطرح الأسئلة - وتقرأ العارضة النص وتجيب. بالنسبة للخطوط غير القياسية، قد ترتكب أخطاء في بعض الأحيان، ولكن الدقة بشكل عام جيدة.

أين الصيد؟

سأخبرك بصراحة عما يزعجني.

أولاً، الوصول. Gemini 2.0 مع Omni Video موجود في Google AI Studio والتطبيق باشتراك متقدم. هناك فترة تجريبية. ثم - الدفع. لا يمكنك إضافة بطاقة مصرفية روسية. VPN مطلوب ليس فقط للتسجيل، ولكن أيضًا للتشغيل المستقر للبث.

ثانيا، الخصوصية. عندما تقوم ببث مقطع فيديو على Google، فإنه ينتقل إلى مكان ما. تقول الشركة "نحن لا ننقذ"، لكن هذه مجرد كلمتهم.

ثالثا، حدود الجلسة. لا يمكنك المشاهدة إلى ما لا نهاية؛ هناك قيود على طول الدفق. وتنخفض جودة العمل بشكل ملحوظ عندما يكون الإنترنت سيئًا.

ماذا يجب أن يفعل المستخدم الروسي؟

طريقتان.

الأول هو VPN + Google AI Studio. إنه يعمل، ولكن مع الأعصاب: أنت بحاجة إلى اتصال مستقر، وبطاقة غير روسية، وأحيانا تسقط الجلسة.

والثاني هو تجميع مكدس العمل من الأدوات المتاحة. على NeuralSpace تم جمع خدمات الذكاء الاصطناعي مع الدفع بالروبل، بدون VPN وبدون بطاقات العملة. للفيديو هناك توليد الفيديو - ليس Omni Live، ولكنه يكفي لمعظم المهام. زائد الدردشة مع نماذج الوسائط المتعددة, العمل مع الصور, الآلات الصوتية.

إذا كنت بحاجة فقط إلى "النظر إلى الكاميرا والتواصل في الوقت الفعلي"، فلا يوجد أي من الخدمات الروسية لديها هذا التنسيق حتى الآن. هذا حقًا أحد ابتكارات Google. ولكن إذا كانت المهمة هي "تحليل مواد الفيديو" أو "إنشاء محتوى فيديو"، فإن كلا من الأدوات المحلية و يسجل يمكنك القيام بذلك هناك الآن بدون VPN.

ما تختاره يعتمد على المهمة. ويعتمد ذلك على مدى استعدادك للتلاعب بشبكة VPN من أجل الحصول على عرض توضيحي مدته 20 دقيقة.

الأسئلة المتداولة (الأسئلة الشائعة)

سؤال: كيف تحصل على أفضل نتيجة من الشبكة العصبية؟
الإجابة: استخدم المطالبات التفصيلية (الأوصاف) باللغة الإنجليزية، واضبط نمط المشهد وتفاصيله.

سؤال: هل يمكن استخدام هذه المواد لأغراض تجارية؟
الإجابة: نعم، المحتوى الذي تم إنشاؤه ملك لك بالكامل.