Röviden a lényeg (BLUF): Az eszköz hangot vagy videót alakít szöveggé és felirattá: a Whisper modellel ismeri fel a beszédet közvetlenül a böngészőjében, magától felismeri a felvétel nyelvét vagy elfogadja az Ön által választottat, időbélyegeket helyez el, és az eredményt TXT, SRT, VTT és JSON formában adja. Videóhoz ráadásként klipet is készít beleégetett felirattal. A fájl sehol nem töltődik fel, tokenek nem kerülnek levonásra, és fizetős API itt nincs.
Az eszköz vesz egy hangot vagy videót, és a beszédet szöveggé alakítja. Tölt egy fájlt, és kap egy időbélyeges átiratot, kész feliratot, videó esetén pedig ugyanazt a klipet a felirattal, amelyet egyenesen a képkockákba égetnek be.
A felismerés a Whisper modellel fut (nyílt, többnyelvű modell: Xenova/whisper-tiny) a Transformers.js útján: a videokártyán WebGPU-n keresztül, ha a böngésző felkínálja, egyébként a processzoron WASM-mal. A hangsáv a fájlból helyben, a böngésző memóriájában kerül kivonásra.
Hang: MP3, WAV, M4A, AAC, OGG, Opus, FLAC. Videó: MP4, WebM, MOV, M4V, MKV, AVI, OGV. Videóból az eszköz maga húzza ki a hangsávot: nem kell külön kivágni.
A hang mono 16 kHz-re alakul — pontosan arra az alakra, amit a Whisper vár. A hosszú felvétel 30 másodperces darabokban, 5 másodperces átfedéssel ismerte fel, így az illesztéseken nem vész el szó.
A fájl nem kerül szerverre: a hang, a felismerés és a felirat összeállítása is a böngészőjében zajlik. Fizetős API itt nincs, tokenek nincsenek levonva.
A modell súlyai egyetlen alkalommal töltődnek le a nyílt Hugging Face katalógusból, azután a böngésző gyorsítótárában maradnak — legközelebb a modell már letöltés nélkül áll fel. Szerveri inference, CUDA és „tartalék GPU a mi oldalunkon" nincsenek itt.
A Whisper 99 nyelvet ismer fel. Alapesetben a nyelv magától ismerődik fel, és az eszköz megmutatja, melyik nyelvet hallotta. Ha a felvétel rövid vagy vegyes, a nyelv a listából kézzel is választható — így a felismerés pontosabb.
A szöveg egy gombbal másolható, vagy négy formátumban tölthető le. A TXT maga az átirat, időbélyeggel vagy anélkül. Az SRT és VTT kész feliratok lejátszókhoz, vágóprogramokhoz és YouTube-hoz. A JSON az átirat a nyelvvel, a hosszal és minden megnyilatkozással az időbélyegével — a későbbi feldolgozáshoz hasznos.
Videófájlhoz az eszköz új klipet állít elő, amelyben a felirat egyenesen a képkockákba van beleégetve. Az ilyen videó mindenhol játszik, ott is, ahol a külső felirat nem támogatott: üzenetküldőkben, közösségi médiában és bármely lejátszón. Az eredeti hang megmarad.
Ugyanez a felirat SRT- és VTT-fájlként is letölthető — az eredeti videóhoz csatolhatók, annak újratervezése nélkül.
Nem fordítja a beszédet másik nyelvre: a felismerés a felvétel nyelvén megy, a fordítás külön feladat. Nem választja szét a beszélőket hang alapján, és nem írja ki, ki mit mondott.
A zenét és a zajt nem kezeli beszédként: ha a felvételben nincs érthető beszéd, az átirat üres vagy pontatlan lesz. A minőség a felvételtől függ: tiszta hangon, zaj és visszhang nélkül az eredmény érezhetően jobb.
Válasszon hangot vagy videót, szükség esetén adja meg a nyelvet (vagy hagyja az automatikát), és nyomja meg a „Beszéd felismerése" gombot. Várja meg az átiratot — az előrehaladás a képernyőn látszik, a felismerés megszakítható.
Azután másolja a szöveget, vagy töltse le TXT, SRT, VTT, JSON formában. Ha videót töltött fel, nyomja meg a „Videó készítése felirattal" gombot, és töltse le a kész klipet.
Videó- és podcastkészítőknek — felirat publikáláshoz és átirat leírásokhoz. Diákoknak és újságíróknak — előadások, interjúk és diktafonos felvételek szövege. Mindenkinek, akinek gyorsan kell szöveg egy felvételből, anélkül hogy küldené idegen szerverre.
Sehová. A hang teljes egészében a böngészőjében, az Ön eszközén kerül kivonásra és felismerésre. A szerverünk a fájlt soha nem kapja meg.
Nem. Ingyenes eszköz, amely az Ön eszközén fut: fizetős API itt nincs, tehát nincs mit levonni.
A modell az Ön eszközén számol. Az első indítás tovább tart: letöltődnek a modell súlyai, a gráf pedig bemelegszik. Azután a modell a böngésző gyorsítótárából jön, és a felismerés gyorsabb.
Válassza kézzel a nyelvet a listában, és indítsa újra a felismerést — rövid felvételeknél a kézi választás pontosabb az automatikusnál.
Igen. Töltsön le SRT-t vagy VTT-t, és csatolja a videóhoz, vagy közvetlenül az eszközben készítsen beleégetett feliratú klipet.