טיפקייַט מאַפּע פֿאַר Seedance 2.5: ווי צו בייפּאַס פּנים בלאַקינג
Seedance 2.5 וויל צו אַרבעטן אויב עס איז אַ רעקאַגנייזאַבאַל פּנים אָדער אַ שטיק פון עמעצער אַנדערש ס פילם אין די ראַם. דאָס איז ווי די פירמע פייץ קעגן פאַקעס פון סאַלעבריטיז, אָבער עס קומט צו פּראָסט מענטשן: אַ מאָדעל מאל אפילו פארווארפן דיין אייגן Selfie. עס איז אַ וואָרקאַראָונד, און עס איז נישט וועגן כאַקינג. דער מאָדעל פּאַסיז לייכט דורך די טיפקייַט מאַפּע - אַ שוואַרץ און ווייַס בילד ווו די ברייטנאַס ווייזט די ווייַטקייט צו די אַפּאַראַט. עס זענען קיין פנימער אויף עס, נאָר די דזשיאַמאַטרי פון די סצענע. ונטער איז ווי צו מאַכן אַזאַ אַ מאַפּע פֿון דיין ווידעא פֿאַר פריי, רעכט אין דעם בלעטערער, און וואָס צו טאָן אויב די דור נאָך פאַלן.
פארוואס זעט אַ מאָדעל אַ רום ווו עס איז גאָרניט?
פילטערס Seedance זענען טריינד אויף פנימער. זייער אַרבעט איז פּשוט: צו פאַרמיידן די אויסזען פון אַ באַרימט מענטש. די פּראָבלעם איז אַז זיי דעפינירן "רום" דורך די דזשיאַמאַטרי פון די פּנים, און נישט דורך די נאָמען אין די קרעדיץ. א ענלעך אויג פאָרעם, די זעלבע גאָמבע פאָרעם - און אַז ס עס, אָפּזאָג.
עס איז אפילו גרינגער מיט פילם פוטידזש: קאַפּירייט שוץ אַרבעט דאָרט. דער מאָדעל אנערקענט די סצענע און פעלן עס נישט אין גאנצן, אפילו אויב איר נאָר ווילן צו איבערחזרן די אַפּאַראַט באַוועגונג.
רעזולטאַט: צוויי פאַרשידענע איסורים, אָבער עס קוקט די זעלבע - אַ רויט גרייַז און אַ וויסט פון צייט.
טיפקייַט מאַפּע: דזשיאַמאַטרי אַנשטאָט פון פנימער
א טיפקייַט מאַפּע איז דער זעלביקער ווידעא, בלויז רידראַון אין גרייסקאַלע. די נעענטער דער כייפעץ איז צו דער אַפּאַראַט, די ברייטער די פּיקסעל. דער הינטערגרונט פיידז אין שוואַרץ, דער הינטערגרונט אין ווייַס. קיין טעקסטשערז, קיין הויט, קיין אויגן: אַלע וואָס בלייבט איז די רעליעף פון די סצענע.
דאָס איז אַ שליסל פונט פֿאַר די פילטער. עס איז גאָרנישט צו קאָנטראָלירן - עס זענען קיין פנימער. און פֿאַר דור עס איז אַלץ איר דאַרפֿן: ווו די אַבדזשעקס זענען געווען, ווו די אַפּאַראַט איז געגאנגען, ווי די פּלאַן געביטן. מיר טאָן ניט נאָכמאַכן עמעצער אַנדערש ס ראַם, מיר נעמען די באַוועגונג און אָרדענונג פון עס, און די מאָדעל דראָז איר אייגן בילד, פֿון קראַצן.
האָנעסטלי וועגן די באַגרענעצונג: עס איז נישט אַ "בייפּאַס אַלץ קנעפּל." אויב איר גלייך פרעגן די פּנים פון אַ ספּעציפיש אַקטיאָר, די אָפּזאָג וועט קומען ווידער. די טיפקייַט מאַפּע סאַלווז די פּראָבלעם פון דזשיאַמאַטרי און באַוועגונג, נישט פּערזענלעכקייט סאַבסטיטושאַן.
ווי צו מאַכן אַ טיף מאַפּע פֿון אַ ווידעא - פריי און אָן ופּלאָאַדינג צו די סערווער
אויף אונדזער וועבזייטל דאָס איז אַ באַזונדער מאָדעל אין די ווידעא אָפּטיילונג: טיפקייט מאפע (פריי). עס איז אין דער רשימה פון מאָדעלס אונטער MiniMax. איר אויסקלייַבן אַ ווידעא, דריקן אַ קנעפּל, און אַלץ איז קאַלקיאַלייטיד אויף דיין מיטל.
וואָס איז ין: מאָדעל Depth Anything V2 Small (דערלויבעניש Apache 2.0) שפּילט גלייך אין דעם בלעטערער דורך ONNX Runtime Web. אויב איר האָבן WebGPU, די ווידעא קאַרטל קאַונץ, אויב נישט, די באַקאַפּ דרך אויף די פּראַסעסער אַרבעט. די ראָמען זענען פּאַרסעד דורך WebCodecs, און דערנאָך אַסעמבאַלד צוריק אין ווידעא מיט דער אָריגינעל FPS און די מאַקסימום האַכלאָטע וואָס דיין בלעטערער קענען שעפּן.
דער רעזולטאַט איז MP4 אָדער WebM - וואָס דער בלעטערער שטיצט. עס איז אַ פאָרויסיקע ווייַזונג פון דער רעזולטאַט, אַ באַשטימען "נעענטער - לייטער / נעענטער - דאַרקער" און פּאַלעטטעס: שיידז פון גרוי, Inferno, Viridis. פּראַסעסינג פּראָגרעס איז קענטיק ראַם דורך ראַם; לאַנג פּראַסעסינג קענען זיין קאַנסאַלד.
צוויי זאכן וואָס זענען מערסט וויכטיק. ערשטער: דער טעקע איז ניט ערגעץ - ניט צו אונדזער סערווער, אדער צו עמעצער אַנדערש ס, אַלע אַרבעט נעמט אָרט אויף די מיטל. צווייטנס: טאָקענס זענען נישט אָפּגעשריבן פֿאַר דעם; עס איז קיין באַצאָלט אַפּי אין דעם מאָדעל בייַ אַלע. די מאָדעל ווייץ און מאָטאָר טעקעס זענען קאַשט אין דעם בלעטערער, אַזוי די בלאַט סטאַרץ פאַסטער די צווייט מאָל.
ווו עס וועט זיין ומבאַקוועם. איר דאַרפֿן Chrome אָדער Edge - WebCodecs איז ניט בנימצא אומעטום. א לאַנג ווידעא אויף אַ פּראַסעסער איז נישט גערעכנט ווי שנעל: אַ מינוט פון מקור מאַטעריאַל קענען נעמען עטלעכע מינוט. און עס איז בעסער נישט צו לויפן 4K אויף אַ שוואַך לאַפּטאַפּ - אָנהייבן מיט 720p, זען די רעזולטאַט, און כאַפּן די האַכלאָטע.
כאַראַקטער אַנטוויקלונג: צוויי מיסטייקס וואָס טייטן די רעזולטאַט
די רגע טעכניק פון דער זעלביקער ווידעא איז די ריכטיק אַנטוויקלונג פון דעם כאַראַקטער. דאָס איז איין בילד ווו די פּנים און קליידער זענען געוויזן סעפּעראַטלי. עס דעפּענדס אויף ווי עס איז פארזאמלט צי די פּנים וועט לאָזנ שווימען אין די דור אָדער בלייַבן אין פּלאַץ.
דער ערשטער גרייַז: די פּנים און קליידער זענען ציען אין פאַרשידענע וואָג. דער מאָדעל טוט נישט פֿאַרשטיין אַז דאָס איז איין מענטש, און הייבט צו פאַרענדיקן די פּראַפּאָרשאַנז זיך. טעות צוויי: די יבערקוקן איז פארזאמלט פון ברעקלעך פון פאַרשידענע מענטשן - דער רעזולטאַט איז אַ דורכשניטלעך פרעמד פּנים, און דער פילטער אַרבעט ווידער.
די אַרבעט אָפּציע איז איין יבערקוקן, איין מענטש, די זעלבע ליכט און ווינקל אויף ביידע טיילן.
אויב דער דור נאָך פיילז מיט אַ טעות וועגן אַ רעקאַגנייזאַבאַל מענטש
עס כאַפּאַנז אַז די טיפקייַט מאַפּע איז אין פּלאַץ, די יבערקוקן איז פארזאמלט ריכטיק, אָבער Seedance נאָך וויל. דאָס מיינט אַז דער פּראָבלעם איז אין איינער פון די בילדער, און מיר דאַרפֿן צו געפֿינען עס.
דער אופֿן איז פּשוט - דער אופֿן פון ילימאַניישאַן. איר אַראָפּנעמען די באַווייַזן איינער דורך איינער און אָנהייבן ווידער. ווי נאר דער דור גייט פארביי, איז געווען שולדיג דאס לעצטע אראפגענומען בילד. דערנאָך איר אָדער ריבילד עס אָדער פאַרבייַטן עס מיט אַ טיף מאַפּע.
פֿאַר אַ לאַנג צייַט? יא. אָבער אָן געסינג: אין דריי אָדער פיר לויפט איר קענען זען די פּינטלעך סיבה.
און די רגע טעכניק פון דער זעלביקער ווידעא: אַ רעגולער גריד איז געווענדט צו די שולדיק בילד - אפילו סקווערז איבער די פּנים. דער פילטער סטאַפּס צו זען די גאנצע פּנים, אָבער פֿאַר דור די פֿעיִקייטן בלייבן ליינעוודיק. די גריד איז געשטעלט אין קיין רעדאַקטאָר אָדער די נעוראַל נעץ איז פשוט געבעטן צו "שטעלן אַ קוואַדראַט גריד אויף דעם פאָטאָ."
אַריבערפירן אַפּאַראַט באַוועגונג פון קיין פֿילם
דער זעלביקער טעכניק אַרבעט אָן ריפּלייסינג די פּנים. איר נעמען אַ ראַם פון אַ פילם, מאַכן אַ טיף מאַפּע פון אים, געבן עס צו די מאָדעל צוזאמען מיט דיין פּינטלעך - און איר באַקומען דיין סצענע מיט דער זעלביקער אַפּאַראַט באַוועגונג: דער זעלביקער צוגאַנג, דער זעלביקער קער, דער זעלביקער ריטם.
אזוי שיסן מען טריילערס, פאראדיעס און קאמערשעלן ווען מען דארף א "סינעמאַטישע" פאָר, אבער עס איז נישטא קיין בודזשעט פאר א קאמערמאן מיט א קראן.
וואָס ס ווייַטער
דער סדר איז ווי גייט: ערשטער די טיפקייַט מאַפּע - פריי אין בלעטערער, אָן דאַונלאָודינג אַ טעקע און אָן שרייבן אַוועק טאָקענס. דעמאָלט דער דור זיך - Seedance 2.5 אויף אונדזער וועבזייטל, עס איז אויך אַ כאַראַקטער אַנטוויקלונג און באַווייַזן.
אויב עפּעס טוט נישט אַרבעטן די ערשטער מאָל, אָנהייבן מיט אַ קורץ קלעמערל פון 3-5 סעקונדעס. עס ווייזט ביידע אַפּאַראַט באַוועגונג און פאַסיאַל נאַטור, און נעמט פיל ווייניקער צייט און טאָקענס.