קורץ און וועסנטלעך (BLUF): דער געצייג מאַכט אַודיאָ אדער ווידעא אין טעקסט און סאַבטיטלען: ער דערקענט די רעדן מיט דעם Whisper מאָדעל גלייך אין דיין ברויזער, דערקענט זעלבסט די שפּראַך פֿון דער אפּנאָכע אדער נעמט די אויסגעקליבענע, שטעלט צײַט־שטעמפּלען און גיט דעם אויסקום אין TXT, SRT, VTT און JSON. פֿאַר ווידעא נאָך בויער ער אַ קליפ מיט איינגעברענטע סאַבטיטלען. די טעקע ווערט נישט ארויפגעלאדן, קיין טאָקענס ווערן נישט אפגענומען און אַ באצאלטער API איז נישט דאָ.
דער געצייג נעמט אַודיאָ אדער ווידעא און מאַכט די רעדן אין טעקסט. מען לאָדט אַרויף אַ טעקע און באַקומט אַ טראַנסקריפּט מיט צײַט־שטעמפּלען, פֿאַרטיקע סאַבטיטלען און, בײַ ווידעא, דעם זעלבן קליפ מיט סאַבטיטלען וואָס ווערן איינגעברענט גלייך אין די בילדער.
די דערקענונג גייט אויף דעם Whisper מאָדעל (דער אפֿענער פֿילשפּראַכיקער מאָדעל Xenova/whisper-tiny) דורך Transformers.js: אויף דער ווידעא־קאַרטע דורך WebGPU, אויב דער ברויזער גיט זי, אדער אויף דער פּראָצעסאָר דורך WASM. דער טאָן־שטריך ווערט ארויסגעצויגן פֿון דער טעקע לאָקאַל, אין דעם זיכרון פֿון דיין ברויזער.
טאָן: MP3, WAV, M4A, AAC, OGG, Opus, FLAC. ווידעא: MP4, WebM, MOV, M4V, MKV, AVI, OGV. פֿון ווידעא ציט דער געצייג זעלבסט ארויס דעם טאָן־שטריך: עס דאַרף נישט צו שניידן זיך באזונדער.
דער קלאַנג ווערט פֿאַרוואַנדלט אין מאָנאָ 16 קילאָהערץ — פּונקט די פֿאָרם וואָס Whisper באַוואַרט. אַ לאַנגע אפּנאָכע ווערט דערקענט אין שטיקן פֿון 30 סעקונדעס מיט אַ 5 סעקונדעדיקער איבערלאַפּונג, אַזוי אויף די פֿאַרבינדונגען גייט נישט אײַ קיין וואָרט.
די טעקע ווערט נישט געשיקט צו אַ סערווער: דער קלאַנג, די דערקענונג און דער זאַמלונג פֿון סאַבטיטלען געשעען כולם אין דיין ברויזער. אַ באצאלטער API איז נישט דאָ און קיין טאָקענס ווערן נישט אפגענומען.
די מאָדעל־וועגונגען ווערן איין מאָל אראפגעלאדן פֿון דעם אפֿענעם Hugging Face קאַטאַלאָג און דערנאָך זיצן אין ברויזער־קעש — דער קומענדיקער באַזוך שטייט דער מאָדעל אויף שוין אן א נייעם אראפלאד. קיין סערווער־אויסרעכענונג, קיין CUDA און קיין «רעזערוו־GPU אויף אונזער זײַט» זענען דאָ נישט אין גאַנצן.
Whisper דערקענט 99 שפּראַכן. בײַ פֿעלן־ברירה ווערט די שפּראַך דערקענט אויטאָמאַטיש און דער געצייג ווייזט וועלכע שפּראַך ער האָט געהערט. אויב איז די אפּנאָכע קורץ אדער מיש, קען מען די שפּראַך אויסקלייבן מיט דער האַנט פֿון דער ליסטע — די דערקענונג איז דעמאָלט גענויער.
דעם טעקסט קען מען קאָפּירן מיט איין קנעפּל אדער אראפלאדן אין פֿיר פֿאָרמאַטן. TXT איז נאָר דער טראַנסקריפּט, מיט צײַט־שטעמפּלען אדער אָן. SRT און VTT זענען פֿאַרטיקע סאַבטיטלען פֿאַר שפּילערס, שנייד־פּראָגראַמען און YouTube. JSON איז דער טראַנסקריפּט מיט שפּראַך, לענג און יעדער רעפּליק מיט איר צײַט־שטעמפּל — באַקוועם פֿאַר ווייטער באַהאַנדלונג.
פֿון אַ ווידעא־טעקע בויט דער געצייג אַ נייעם קליפ וואָס די סאַבטיטלען זענען איינגעברענט גלייך אין די בילדער. אַזאַ ווידעא שפּילט ערגעץ, אויך דאָרט ווו פֿרעמדע סאַבטיטלען ווערן נישט געשטיצט: אין מעסענדזשערס, אויף סאָציאַלע מעדיעס און אויף יעדן שפּילער. דער אורלויג פֿון דער מקור ווערט באַהאַלטן.
די זעלבע סאַבטיטלען קען מען אראפלאדן אויך ווי SRT און VTT טעקעס — מען קען זיי פֿאַרבינדן מיט דעם אורווידעא אן אים צו בויען איבער.
ער איבערזעצט נישט די רעדן אין אַ צווייטע שפּראַך: די דערקענונג גייט אין דער שפּראַך פֿון דער אפּנאָכע, איבערזעצונג איז אַ באזונדערע אויפֿגאַבע. ער צעשײַדט נישט די רעדנער לויט קול און שרייבט נישט ארויס ווער האָט געזאָגט וואָס.
ער באַהאַנדלט נישט מוזיק און גערויש ווי רעדן: ווען אין דער אפּנאָכע איז נישט קיין פֿאַרשטייליכער רעדן, וועט דער טראַנסקריפּט זיין ליידיק אדער אָנגענויק. די קוואַליטעט האַנגט אן אויף דער אפּנאָכע — אויף אַ ריינעם קול אן גערויש און האַל איז דער אויסקום קלאָר בעסער.
קלייב אויס אַודיאָ אדער ווידעא, לויט באַדערף שטעל אַריין די שפּראַך (אדער לאָז די אויטאָמאַטישע דערקענונג) און דרוק «דערקען רעדן». וואַרט אויף דעם טראַנסקריפּט — דער פֿאָרשריט איז צו זען אויף דעם עקראַן, די דערקענונג קען מען אָפּברעכן.
איבער'כאָפּיר דערנאָך דעם טעקסט אדער אראפלאד TXT, SRT, VTT, JSON. אויב האָסט ארויפגעלאדן אַ ווידעא, דרוק «מאַך ווידעא מיט סאַבטיטלען» און אראפלאד דעם פֿאַרטיקן קליפ.
ווידעא־ און פּאָדקאַסט־מאַכער — סאַבטיטלען צו פֿאַרעפֿנטלעכן און אַ טראַנסקריפּט פֿאַר באַשרײַבונגען. סטודענטן און זשורנאַליסטן — דער טעקסט פֿון לעקציעס, אינטערוויוס און רוחרוד אפּנאָכעס. אַלע וואָס דאַרפֿן שוין דערגיין דעם טעקסט פֿון אַן אפּנאָכע, אָן זי צו שיקן צו אַ פֿרעמדן סערווער.
נישט קיין ערגעץ. דער קלאַנג ווערט ארויסגעצויגן און דערקענט גאַנץ אין דיין ברויזער, אויף דיין אפּאַראַט. אויף אונזער סערווער די טעקע קומט אייביק נישט אן.
ניין. דאָס איז אַ פֿרייע געצייג וואָס לויפט אויף דיין אפּאַראַט: אַ באצאלטער API איז נישט דאָ, טאַקע איז נישט וואָס אפצונעמען.
דער מאָדעל רעכנט אויף דיין אפּאַראַט. דער ערשטער סטאַרט געדויערט לענגער: די מאָדעל־וועגונגען ווערן אראפגעלאדן און דער גראַף ווערט וואַרם. דערנאָך קומט דער מאָדעל פֿון ברויזער־קעש און די דערקענונג גייט שנעלער.
קלייב די שפּראַך מיט דער האַנט פֿון דער ליסטע און שפּיל די דערקענונג איבער — בײַ קורצע אפּנאָכעס איז די האַנט־קלייבונג גענויער ווי די אויטאָמאַטישע.
יא. אראפלאד SRT אדער VTT און פֿאַרבינד זיי מיט דעם ווידעא, אדער בוי גלייך אין געצייג אַ קליפ מיט איינגעברענטע סאַבטיטלען.