Gemini Omni מחולל וידאו AI: קלט רב-מודאלי, תווים וקול

Bottom Line Up Front (BLUF): Gemini Omni הוא מחולל וידאו AI מולטי-מודאלי: לצד הנחיה טקסט הוא מקבל תמונות, וידאו, אודיו ואפילו תווים שמורים כקלט. תאר סצנה במילים, גבה אותה בתמונות, בחר קול לדיאלוג וצלם סדרה שלמה של קליפים שמציגים את אותו גיבור - הכל בתוך דגם אחד.

מגיש וירטואלי מדבר במצלמה עם קול שנוצר בינה מלאכותית
דוגמה שנוצרה עם Gemini Omni 1 ב-NeuralSpace

מה המשמעות של Omni בפועל

רוב דגמי הווידאו מצלמים טקסט או תמונה בודדת. Gemini Omni לוקח דיאטה מעורבת: הנחית טקסט בתוספת עד שבע תמונות, וידאו או אודיו כהקשר נוסף. Wan האם קליפ בהשראת מסגרת ספציפית, הנושא את מצב הרוח של רצועה ספציפית? תביא הכל בבת אחת - הדגם שוקל כל מקור שאתה מצרף.

זה משנה את אופן מסגרת המשימה. במקום פסקה ארוכה שמציירת "בית כזה, אור כזה", אתה פשוט מציג תמונה של הבית ומשתמש במילים רק לפעולה. טקסט מניע את העלילה, קבצים מצורפים מגדירים את המראה - כל סוג קלט עושה את העבודה שלו.

דמויות: גיבור אחד בכל קליפ

הקללה של מחוללים רגילים היא שהגיבור עובר מוטציות מקליפ לקליפ. כאן זה נפתר על ידי לשונית דמות ייעודית: אתה יוצר דמות פעם אחת, היא נוחתת בספרייה האישית שלך, ומכאן ואילך אתה מצרף אותה לכל דור. המראה נשאר עקבי סרטון אחר סרטון.

כך נוצרות סדרות: מנחה תוכנית וירטואלית, קמע של מותג, גיבור חוזר לסיפורי ילדים. דמויות שמורות נבחרות מהספרייה בלחיצה אחת ישר בטופס היצירה - ללא העלאה מחדש של הפניות ותקווה שהדגם "זוכר" את הפנים.

טופס דור המשלב בקשת טקסט, הפניות לתמונות ודמות שנבחרה מהספרייה
דוגמה שנוצרה עם Gemini Omni 1 ב-NeuralSpace

קול אובר: קולות מוגדרים מראש ושלך

קליפ יכול לצאת עם סאונד מההתחלה. ההגדרות מציעות סגל של קולות מוגדרים מראש, זכרים ונשים, המשתרעים על גווני גוון ואישיות שונים - מרכים וגבוהים ועד נמוכים וחצצים. בחר קול, הכנס את השורה להנחיה שלך, והדמות מדברת ממש בפריים.

אם אף אחת מההגדרות הקבועות מראש לא מתאימה, הכרטיסייה אודיו מאפשרת לך לבנות קול מותאם אישית על גבי קביעת בסיס קבועה מראש. הוא מצטרף לספרייה האישית שלך ומתחבר לדורות בדיוק כמו הדורות הסטנדרטיים. עבור מותג, זה אומר קול אחד שניתן לזהות בכל סרטון שאתה מפרסם.

עד 4K פלט ופורמטים של מסגרת

Gemini Omni הוא אחד הדגמים הבודדים באתר עם פלט 4K: הרזולוציות הזמינות הן 720p, 1080p ו-4K. אורך הקליפ הוא 4, 6, 8 או 10 שניות; המסגרת היא מסך רחב 16:9 או אנכי 9:16 עבור עדכונים חברתיים. סולמות מחירים עם משך ואיכות.

שגרה מעשית: חזור על טיוטות ב-720p שבהם היצירה זולה ומהירה יותר, ואז הפעל מחדש את הגרסה המנצחת ב-1080p או 4K. קליפים גמורים חיים בהיסטוריית הדור שלך, שם אתה יכול להוריד אותם, להרחיב אותם או להפעיל מחדש את ההנחיה עם שינויים.

איך לגשת לדור הראשון שלך

אל תפעיל כל תכונה בבת אחת. צור את הקליפ הראשון מטקסט בלבד כדי לקבל תחושה כיצד הדוגמנית קוראת תיאורים. לאחר מכן הוסף תמונת רפרנס, ואז קול, ורק לאחר מכן הגדר דמות מתמשכת. כל שלב מוסיף שליטה אבל מבקש קצת יותר זהירות בניסוח.

שמור על הסדר הקלאסי בתיאור הסצנה שלך: מי נמצא בפריים, מה הם עושים, איפה זה קורה, איך המצלמה מתנהגת. אם יש קו מדובר, תנו לו משפט משלו. המבנה הזה מנחית קליפ קוהרנטי בניסיון הראשון או השני כמעט בכל פעם.

שאלות נפוצות

במה שונה Gemini Omni מדגמי וידאו רגילים?

קלט וספריות מעורבות. דוגמנית רגילה מקבלת טקסט או תמונה אחת; כאן אתה משלב טקסט, תמונות, וידאו ואודיו, ומצרף למעלה דמויות שמורות וקולות מותאמים אישית. זה הופך אותו לבחירה הנכונה עבור תוכן סדרתי שנבנה סביב גיבור אחד.

איך אני עושה כמה קליפים עם אותה דמות?

צור את הדמות בלשונית תו - הוא נשמר בספרייה שלך. לאחר מכן בחר אותו בלחיצה אחת בכל דור חדש. הופעתו של הגיבור חוזרת מקליפ לקליפ ללא צורך בהעלאה מחדש של הפניות.

האם הסרטון יכול לכלול קול ודיבור?

כֵּן. בחר אחד מהקולות המוגדרים מראש או בנה משלך בלשונית אודיו, ולאחר מכן כתוב את השורה של הדמות בתוך תיאור הסצנה. הדוגמנית מציגה קליפ שבו הגיבור מעביר את השורה הזו בקול הנבחר.

מודלים דומים