Gemini Omni Vídeo: qué puede hacer el modo de vídeo Google en tiempo real

Brevemente sobre lo principal (BLUF)

Gemini Omni — modo vídeo Google en tiempo real: apunta la cámara y la modelo explica, traduce o analiza lo que ve en vivo. Averigüemos de dónde viene la palabra "Omni", qué hace el modelo con el vídeo y qué puede hacer el usuario ruso con todo esto.

La semana pasada, unos compañeros publicaron un vídeo de una persona mostrando su guardarropa en directo y Gemini comentando prendas en tiempo real y sugiriendo looks. Mi primer pensamiento: "bueno, sólo otra demostración que no funciona en la vida real". Pensándolo bien, después de probarlo: funciona. No es perfecto, pero funciona.

¿De dónde viene la palabra "omni"?

"Omni" significa "todo a la vez". Tanto GPT-4o (omni) como Gemini ahora tienen un modo en el que el modelo trabaja con texto, voz, imágenes y video simultáneamente. No por turnos. No "primero el marco, luego la respuesta". Sólo el flujo.

Específicamente, Gemini Omni Video puede recibir una transmisión en vivo desde una cámara y reaccionar a lo que sucede en tiempo real. Nombra objetos. Leer texto en pantalla. Responda preguntas sobre lo que se muestra en el cuadro en este momento.

Técnicamente se llama API en vivo multimodal. La transmisión de video va a los servidores Google, el modelo la procesa y responde con un retraso de 200 a 400 ms. Esto ya parece una conversación, no una solicitud-respuesta.

¿Qué hace exactamente el modelo con el vídeo?

Es importante distinguir entre tres cosas diferentes:

• Análisis del vídeo descargado. — subes un vídeo, les pides que te describan o encuentres el momento adecuado. Esto funcionó en 2024.
• Modo en tiempo real — el modelo mira a través de la cámara contigo. Esto ya es fundamentalmente diferente.
• Generación de vídeo - aquí Google lanzó Veo 3 por separado, esta es una historia diferente y una herramienta diferente.

En el modo Omni Live, puedes apuntar tu teléfono a un panel eléctrico roto y preguntar "qué pasa", y obtener una respuesta casi al instante, sin esperar a que se cargue. O mostrar el plato en un restaurante y conocer la composición aproximada. O muestre su código en el monitor y obtenga inmediatamente un comentario.

Caso real: desmontaje de código a través de la cámara

Uno de los escenarios más viables es transmitir la pantalla durante la depuración. Abra Google AI Studio, active el modo de video, muestre el IDE. Usted pregunta: "¿por qué hay nulo aquí?" — el modelo ve un seguimiento de pila específico y responde al punto.

Trabajé así con un script de Python durante unos veinte minutos. La demora es corta, las respuestas van al grano. Lo único es que después de 20 minutos el teléfono empezó a calentarse, tuve que cambiar a una computadora portátil.

También funciona bien con documentos. Pones el papel frente a la cámara, haces preguntas: el modelo lee el texto y responde. Para fuentes no estándar a veces comete errores, pero en general la precisión es decente.

¿Dónde está el truco?

Te diré honestamente lo que me molesta.

En primer lugar, el acceso. Gemini 2.0 con Omni Video se encuentra en Google AI Studio y la aplicación de suscripción avanzada. Hay un período de prueba. Entonces - paga. No puedes agregar una tarjeta bancaria rusa. Se necesita VPN no solo para el registro, sino también para el funcionamiento estable de la transmisión.

En segundo lugar, la privacidad. Cuando transmites un vídeo en Google, va a alguna parte. La empresa dice “no ahorramos”, pero esa es sólo su palabra.

En tercer lugar, límites de sesión. No puedes mirar sin cesar; existen restricciones en la longitud del flujo. Y la calidad del trabajo disminuye notablemente cuando Internet es deficiente.

¿Qué debe hacer un usuario ruso?

Dos maneras.

El primero es VPN + Google AI Studio. Funciona, pero con nervios: necesitas una conexión estable, una tarjeta no rusa y, a veces, la sesión simplemente se interrumpe.

El segundo es armar una pila de trabajo a partir de las herramientas disponibles. En Espacio neuronal Servicios de IA recopilados sin VPN y sin tarjetas de moneda. Para vídeo hay generación de vídeo - No es Omni Live, pero es suficiente para la mayoría de las tareas. Más chatear con modelos multimodales, trabajando con imágenes, instrumentos de voz.

Si sólo necesita "mirar a la cámara y comunicarse en tiempo real", ninguno de los servicios rusos tiene todavía este formato. Esto es realmente una innovación Google. Pero si la tarea es “analizar material de video” o “generar contenido de video”, tanto las herramientas domésticas como las registro Puedes hacerlo allí ahora mismo sin una VPN.

Qué elegir depende de la tarea. Y depende de qué tan dispuesto estés a jugar con una VPN para una demostración de 20 minutos.

Preguntas frecuentes (FAQ)

Pregunta: ¿Cómo obtener el mejor resultado de una red neuronal?
Respuesta: Utilice indicaciones detalladas (descripciones) en inglés, establezca el estilo y los detalles de la escena.

Pregunta: ¿Se pueden utilizar estos materiales con fines comerciales?
Respuesta: Sí, el contenido generado es totalmente tuyo.