OmniHuman 1.5: יקספּרעסיוו גערעדט פּאָרטרעט געטריבן דורך דיין קול
Bottom Line Up Front (BLUF): OmniHuman 1.5 איז אַן אַי ווידעא גענעראַטאָר וואָס בויען אַ גערעדט מענטש פֿון איין פאָטאָ און איין אַודיאָ שפּור. וואָס שטעלט עס באַזונדער פון יקערדיק ליפּ-סינק מכשירים איז ווי דער כאַראַקטער ינכאַבאַץ די רעדע: דער מאָדעל ליסאַנז צו די ריטם און עמאָציע פון די רעקאָרדינג און שאַפּעס אָנקוקן, אויסדרוק און קאָפּ באַוועגונג אַרום אים, אַזוי דער מענטש אויף פאַרשטעלן מיינט צו מיינען וואָס זיי זאָגן.
פארוואס דעם אַוואַטאַר פילז אַנדערש
רובֿ טאַלקינג-פאָטאָ מכשירים מייַכל די אַרבעט מעטשאַניקאַלי - געזונט אין, מויל פלאַפּס אויס. OmniHuman 1.5 לייענט די פאָרשטעלונג אין די אַודיאָ. א יקסייטאַד שורה הייבן די ברעמען, אַ קשיא פאַרווייכערט דעם בליק, אַ פּויזע לאָזט דעם רעדנער אָטעמען. דער רעזולטאַט לינז אַוועק פון "אַנימייטיד מאַסקע" און צו עפּעס וואָס ריזעמבאַלז פאַקטיש אויף-אַפּאַראַט עקספּרעס.
דער ריס ווייזט רובֿ אויף עמאָציאָנעל מאַטעריאַל. יעדער אַוואַטאַר מאָדעל קענען בלייַבנ לעבן אַ פלאַך דערציילונג, אָבער אַ האַרציק מאַזל - טאָוו, אַ ינטוזיאַסטיק פּעך אָדער אַ געזאַנג שורה איז ווו דער איינער ערנז זיין נאָמען. וועלכער געפיל דיין רעקאָרדינג קאַריז, די פּנים אויף דעם עקראַן פּיקס עס אַרויף און פיעסעס עס צוריק.
ינפּוץ, פֿאָרמאַטירונגען און די שווער שיעור
די ינגרידיאַנץ זענען באַקאַנט: אַ פּאָרטרעט ווי JPEG, PNG אָדער וועבפּ, און אַ קול שפּור ווי MP3, WAV, AAC, OGG אָדער M4A, יעדער קאַפּט צו 10 MB. די רעקאָרדינג מוזן בלייבן אונטער 15 סעקונדעס - און אויב דיין לויפט איבער, די דור פאָרעם האט זיין אייגענע טרימער, אַזוי יזאָלירן די רעכט פראַגמענט נעמט סעקונדעס, נישט אַ יאַזדע צו אַן אַודיאָ רעדאַקטאָר.
קלייַבן אַ בילד ווו די פּנים און מויל זענען קלאר קענטיק, אָבער טאָן ניט פילן ריסטריקטיד צו סטודיאָ העאַדשאָץ: גלייַכגילטיק פאָטאָס און סטיילייזד אַרטוואָרק ופלעבן אויך קאַנווינסינג. פאַרטיק ווידיאס לאַנד אין דיין דור געשיכטע, ווו איר קענען אראפקאפיע נעמען, פאַרגלייַכן ווערסיעס אָדער לויפן די זעלבע שפּור קעגן אַ אַנדערש פּאָרטרעט.
באַקומען די מערסט יקספּרעסיוו רעזולטאַט
דער הייבער וואָס איז מערסט וויכטיק איז נישט די פאָטאָ - דאָס איז די רעקאָרדינג. דורכפירן די שורה ווי איר וואָלט ווי אויף אַפּאַראַט: פאַקטיש פּאָזאַז, פאַקטיש טראָפּ, פאַקטיש געפיל. א מאָנאָטאָנע לייענען פּראָדוצירט אַ מאָנאָטאָנע כאַראַקטער, ווייַל דער מאָדעל שפּיגל געטריי וואָס ער הערט. רעקאָרדינג צוויי אָדער דריי דעליווערי און דזשענערייטינג אַלע פון זיי איז אַ ביליק וועג צו געפֿינען די נעמען וואָס סינג.
פֿאַר די בילד, די הערשן איז ברידינג פּלאַץ. א פּנים קראַפּט ברעג-צו-ברעג לאָזן קיין פּלאַץ פֿאַר קאָפּ באַוועגונג צו אַנפאָולד. א קאַסטן-אַרויף פראַמינג מיט לופט אַרום די קאָפּ גיט די מאָדעל פּלאַץ פֿאַר די קליין טילט און טורנס וואָס פאַרקויפן די אילוזיע פון אַ לעבעדיק מענטש אלא ווי אַ מאָווינג קאַטאַוט.
סצענאַר ווו עס שיינט
דערגרייכן עס ווען קעריזמאַ איז די דעליוועראַבאַל. א פּראָמאָ ווו אַ כאַראַקטער טאַקע כייפּס דעם פאַרקויף. א היסטארישן פּאָרטרעט דערציילט זיין אייגענע געשיכטע פֿאַר אַ מוזיי פירער אָדער אַ שולע פּרויעקט. א דעקל-קונסט אילוסטראציע זינגט די עפן שורה פון אַ שפּור. יעדער פון די לעבן אָדער שטאַרבן אויף עמאָציאָנעל אַנאַמיישאַן, וואָס איז פּונקט די ספּעציאַליטעט דאָ.
קורץ ווערטיקאַל ווידעא פארדינט זיין אייגענע דערמאָנען: איר באַקומען סעקונדעס צו פאַרטשעפּען אַ צוקוקער, און אַ יקספּרעסיוו מענטש פּנים ביץ קאַפּשאַנז אויף דעם עקראַן אין דער אַרבעט. די אַודיאָ לימיט פון אונטער 15 סעקונדעס איז פּאַסיק פֿאַר די פֿאָרמאַט - אַ קרוק שורה איז סייַ ווי סייַ.
OmniHuman אָדער אן אנדער געצייַג: אַ שנעל פירן
דער פּלאַץ אויך אָפפערס Kling אַי אַוואַטאַר, אַ ארומיקע פאָטאָ-פּלוס אַודיאָ מאָדעל מיט נאָרמאַל און פּראָ קוואַליטעט טיערס. פּראָסט הערשן פון גראָבער פינגער: פֿאַר אַ קאַמפּאָוזד, פֿירמע-נוסח פּריזענטער מיט מאַקסימום האַכלאָטע, פּרובירן דעם איינער; פֿאַר לעבעדיק, עמאָציע און פּערזענלעכקייט, אָנהייבן מיט OmniHuman 1.5. ביידע נעמען יידעניקאַל ינפּוץ, אַזוי פליסנדיק דיין טעקעס דורך יעדער און בעכעסקעם די שטארקער נעמען קאָס גאָרנישט אָבער אַ ביסל וואָג.
אויב דיין פאַקטיש ציל איז שייַעך-וואָיסינג יגזיסטינג פוטידזש אלא ווי אַנאַמייטינג אַ סטיל, Volcengine ליפּ סינק איז די רעכט געצייַג - עס רירייט די מויל אין אַ ווידעא צו גלייַכן נייַ אַודיאָ. און פֿאַר סקריפּט סינז מיט פול-גוף קאַמף, גענעראַל ווידעא מאָדעלס ווי Kling 3.0 אַפּלייז; גערעדט אַוואַטאַרס זענען ספּעשאַלאַסץ אין נאָענט-אַפּס און רעדע.
אָפֿט געשטעלטע פֿראַגעס
טוט עס נאָר אַרבעט מיט פאַקטיש פאָוטאַגראַפס?
ניין - אילוסטראציעס און סטיילייזד פּאָרטראַץ ופלעבן אויך, אויב די פּנים איז קלאר ליינעוודיק. דער מאָדעל בויען אויסדרוק און אַרטיקולאַטיאָן אַרום די אויגן און מויל, אַזוי די פֿעיִקייטן דאַרפֿן צו זיין בוילעט אין די מקור בילד.
מיין אַוואַטאַר איז ארויס שייגעץ. וואָס איז פאַלש?
כּמעט זיכער די רעקאָרדינג. דער מאָדעל שפּיגל די ענערגיע פון די קול, אַזוי אַ פלאַך לייענען גיט אַ פלאַך פּנים. רעקאָרדירן די שורה ווידער מיט אַן אמתער אינטאָנאַציע, פּויזען און אונטערשטרייכן, און דער אויסדריקלעכקייט פֿון דעם כאַראַקטער שטײַגט מיט אים.
ווי טאָן איך מאַכן עפּעס מער ווי 15 סעקונדעס?
יעדער דור דאַרף אַודיאָ אונטער 15 סעקונדעס, אַזוי שפּאַלטן אַ מער רעדע אין שטיקער, דזשענערייט יעדער מיט דער זעלביקער פּאָרטרעט און פאַרבינדן די קליפּס אין קיין ווידעא רעדאַקטאָר. מיט אַ סטאַטיק הינטערגרונט, די קאַץ זענען קוים באמערקט.