誰がいつ話したか（無料）：話者分離とリアルタイム字幕
会議、インタビュー、講演の後には、複数の人が話している録音が残されますが、通常の議事録では誰が何を言ったかを知ることができません。 誰がいつ話したか は無料のブラウザ ツールです。録音を複数のスピーカー (最大 4 人) に分割し、オプションで音声をタイムスタンプ付きのダイアログに変換し、2 番目のタブでマイクから直接ライブ キャプションを実行します。ファイルはアップロードされず、トークンも消費されず、アカウントも必要ありません。
仕組み
話者の分離は、NVIDIA Sortformer モデルによって強化されています。最大 4 つの話者を検出し、それぞれの話者が聞こえた時間範囲をレイアウトします。 「スピーチも文字に起こす」ボックスをチェックしたままにすると、発言が発言者に付加されます。「発言者 1」、「発言者 2」などのラベルが付けられた会話の議事録が得られます。これは、TXT、SRT、VTT、JSON としてコピーまたはダウンロードできます。タイムラインの横にあるバッジは、モデルが検出したスピーカーの数を示します。
最初の実行では、モデルの重みがデバイスにダウンロードされます (合計約 380 MB)。その後、それらはブラウザーにキャッシュされたままになり、その後の実行にはネットワークは必要ありません。グラフィックス カード (WebGPU) を使用すると、分析が迅速になります。これがないと、エンジンはプロセッサ (WASM) に戻ります。かなり遅くなりますが、結果は同じであり、それがいつ起こるかをツールが教えてくれます。オーディオはブラウザ内で 16 kHz モノラルに折りたたまれます。どこにも記録する必要はありません。
自分の録音にマークを付ける
- を開きます。 道具 オーディオまたはビデオ ファイルを選択します: MP3、WAV、M4A、MP4、WebM が受け入れられ、ファイルをフレームにドロップできます。
- 「音声も文字に起こす」ボックスをオンにします。チェックすると、タイムスタンプ付きのダイアログが表示されます。チェックされていないのは、「誰がいつ話したか」のタイムラインだけです。
- スタートボタンを押します。最初の実行では、モデルがダウンロードされるまで待ちます。進行状況バーに常に通知されます。
- その結果、タイムラインと対話が追加されます。ボタンを使用してテキストをコピーするか、必要な形式でダウンロードします。
マイクからのライブキャプション
2 番目のタブはマイクから音声を直接取得し、話しているときにフレーズごとにキャプションを付けます。現在のフレーズが大きく表示され、完成したフレーズは下のリストに残ります。ファイルを処理した後ではなく、すぐにキャプションが必要な会議、講義、またはビデオ通話に適しています。ボタンを押すとマイクへのアクセスが要求されます。ファイルには何も書き込まれず、ブラウザからは何も出力されません。
事前に知っておくべきこと
このツールはまだ新しく実験的なもので、分離の質は録音に依存します。きれいなマイクでの会話は自信を持って分割されますが、ノイズが多くエコーの多い録音では常に中断されるため、混乱する可能性があります。スピーチ作業にはメモリも必要です。約 1 GB のヘッドルームを計画してください。プロセッサ パス (WASM) では、グラフィック カードよりも長時間の録画に時間がかかります。モデルは名前を学習しません。「スピーカー 1」および「スピーカー 2」ラベルは、議事録に合わせてエクスポート後に名前が変更されることを目的としています。
誰がそれを必要としているのか
ジャーナリストは、インタビューのどこに新しい声が入っているかをすぐに見つけることができます。学生は、教授が話した場所と聴衆が質問した場所を一行ずつ記録した講義をレイアウトすることができます。ポッドキャスト編集者は、長いセッションの中で全員が話し合っている部分を見つけて切り取ることができます。会議の幹事は、録音をどこにも送信せずに、タイムコードを含む議事録の草稿を作成できます。
他に何か必要なとき
音声による内訳ではなくプレーンテキストが必要な場合は、次のファイルを開きます。 音声とビデオ → テキスト。このセクションの他のツールは、 オーディオ ページ、さらに無料のローカル ツールが以下にあります その他のツール。分析はオープンな FluidAudio ライブラリ (MIT ライセンス) によって行われます。コードとモデルはブラウザー内に存在し、他のサーバーに迂回することはありません。