Volcengine リップシンク: 唇が一致する AI ビデオダビング
Bottom Line Up Front (BLUF): Volcengine リップシンクは、既存の映像を再ダビングする AI ビデオ ツールです。クリップと新しい音声トラックをアップロードすると、モデルは新鮮な音声に合わせて話者の口の動きを再形成します。顔はそのままで、関節は自然に見え、視聴者は交換を疑うことはありません。これは、再撮影せずにトークを翻訳したり、悪いナレーションを修正したりするための実用的な方法です。
単純なオーディオの交換が失敗する理由
エディターでサウンドトラックを交換するのは簡単ですが、唇が言葉と同期しなくなった瞬間に幻想は崩壊します。視聴者は数秒以内に気づき、そのビデオはすぐに偽物だと感じます。リップシンク技術はこれをピクセルレベルで修正します。モデルは置き換えられた音声を聞き、各音を口の形にマッピングし、話者のアーティキュレーションをフレームごとに再描画します。
その結果、その人が最初から新しいセリフを話していたように見える映像が得られます。これは、再撮影が検討の外にある場合、つまりプレゼンターが不在である場合、セットがなくなっている場合、または元のテイクが 1 回限りのイベントであった場合に最も重要になります。音声を録音するだけで、画像がそれに適応します。
ビデオを段階的に再ダビングする方法
ビデオ生成ページでモデルを選択し、画面上の人物を含むソース クリップを添付して、新しいスピーチを含むオーディオ ファイルを追加します。テキスト プロンプトは必要ありません。2 つのファイルでジョブ全体が説明されます。 「生成」をクリックし、処理が完了するまで待ち、生成履歴から完成したクリップをダウンロードします。
音声トラックは、電話録音、スタジオ セッション、テキスト読み上げエンジンなど、どこからでも取得できます。重要なのは明瞭さです。バックグラウンド ミュージックや部屋の騒音のないクリーンなボーカルにより、モデルは口の形を音素に合わせるのがはるかに簡単になるため、アップロードする前に混合オーディオを音声まで取り除きます。
口パク吹き替えの最適な使用例
ローカリゼーションがリストの先頭に立っています。コースのレッスン、製品デモ、インタビュー映像は、英語、スペイン語、中国語で公開でき、スピーカーは各言語で説得力を持って話します。これにより、多くの視聴者がスキップする字幕なしで、誰もカメラの前に戻されることなく、海外市場が開かれることになる。
修正は二の次です。インタビューでの失言、プロモーションでの古い価格、チュートリアルでの機能の名前変更など、影響を受けた行を再録音し、モデルでクリップを実行し、更新されたバージョンを公開します。クリエイターはこの方法で古いエピソードを更新し、企業は社内トレーニング ビデオを何年も正確に保ちます。
信頼できる結果が得られる
このモデルは、話者の顔がはっきりと見える場合、つまり正面またはわずかな角度で撮影され、均等に照明が当てられ、手やマイクで隠れていない場合に最高のパフォーマンスを発揮します。被写体が顔を背け続けたり、ワイドショットで小さく見えたりすると、明瞭度の精度が低下します。顔がフレームの大半を占めるセグメントを選択します。
オーディオも同じロジックに従います。つまり、1 つの音声で、その上に何も重ねられません。処理後に任意のエディターで音楽とサウンド デザインを追加します。また、ナレーションの長さをクリップの長さに近づけて、音声が映像にスムーズに定着するようにすることもできます。処理コストは、ソースビデオの実行時間によって異なります。
Frequently asked questions
プロンプトを書く必要がありますか?
いいえ。このモデルは、ビデオ ファイルとオーディオ ファイルという 2 つのアップロードで完全に実行されます。プロンプトフィールドは空のままにしておきます。音声自体が、どのような口の動きを生成するかをモデルに指示します。
自分のビデオを別の言語に吹き替えることはできますか?
はい、それが主な使用例です。ターゲット言語でナレーションを録音または生成し、元の映像と一緒にアップロードすると、話者は新しいスピーチを自然に表現します。 1 つの撮影が多くのローカライズされたバージョンになる可能性があります。
出力がわずかにずれているように見えるのはなぜですか?
通常、ソースが犯人です。顔が大きく、明るく、遮るものがないこと、音声が音楽のない普通の会話であることを確認してください。通常、よりクリーンな入力を使用して生成を再実行すると、位置合わせの問題が解決されます。