Kling 3.0 モーションコントロール: キャラクターの写真に実際の動きをコピーします
Bottom Line Up Front (BLUF): Kling 3.0 Motion Control は、モーション転送を中心に構築された AI ビデオ ジェネレーターです。キャラクターの写真と誰かが動いている参考ビデオをフィードすると、キャラクターがダンス、散歩、ジェスチャーなどの正確な動きを実行するクリップがレンダリングされます。見た目は映像から、振り付けは映像から。これは第 3 世代であり、最も精度の高いテクノロジーです。
モーション転送が実際に行うこと
流行のダンスを踊るためにイラスト入りのマスコットが必要だとします。そのためにモーション キャプチャ スタジオを予約する人は誰もいません。代わりに、実際の人物がダンスをしているクリップを参考としてアップロードし、マスコット画像を添付して生成します。システムはビデオから体の動きを読み取り、フレームごとにキャラクターでそれを再実行します。
これにより、振り付けを言葉で説明するのがほぼ不可能であるという、テキストによるビデオの主要な弱点が回避されます。ここでは決してそれを説明することはなく、それを実証するのです。リファレンスで起こったことはすべて出力でも起こり、写真に写っている人物、つまり写真に撮られた人物、ブランドのキャラクター、手描きのヒーローによって実行されます。
3.0 がバージョン 2.6 をどのように改善したか
両方の世代がサイトで利用可能ですが、それらの間には実際のギャップがあります。バージョン 3.0 は、複雑な動きを通じてキャラクターのアイデンティティをより適切に保持し、溶けた手や顔の漂流を少なくして急速なポーズ変更を処理し、公開可能なテイクを取得するために必要な再試行の回数が通常より少なくなります。視聴者に見てもらうことを目的としたものは、ここから始めてください。
また、以前のバージョンに欠けていたコントロール、つまりキャラクターの向きも導入されました。フィギュアの配置と向きを参考ビデオに従うか、アップロードした画像に忠実にするかを決定します。これにより、ポートレートフレームのキャラクターが風景フレームのシーンにぎこちなく詰め込まれてしまうという、旧世代の古典的な悩みが解決されました。
方向モード、解像度、クリップの長さ
「ビデオをフォロー」を選択すると、キャラクターがリファレンス内のパフォーマーと一致し、最大 30 秒のクリップがサポートされます。これは完全なダンス セクションまたは延長スキットに十分です。 「画像に従う」を選択すると、画像のフレーミングは維持されますが、出力は 10 秒に制限されます。作品の長さと忠実さのどちらが重要であるかに基づいて選択してください。
解像度はシンプルなドロップダウンです。クイック ドラフトの場合は 720p、公開する予定の最終レンダリングの場合は 1080p です。賢明なワークフローは、写真と参照の組み合わせがクリックされるまで 720p で安価に繰り返し、その後完全に勝者を再生成する HD です。結果はダウンロードまたは拡張のために履歴に保存されます。
効果的な参考ビデオを選択する
最良の参考資料には、1 人のパフォーマーが完全にフレーム内に収まり、読みやすい動きと安定したカメラが映されています。激しいカット、オクルージョン、揺れた映像はモーション トラッキングを混乱させます。ソーシャル メディアからダンスを借用する場合は、最初の 1 秒から最後までダンサーが頭からつま先まで見えるテイクを選択してください。
キャラクターの画像には、同様の要件があります。つまり、人物を少なくとも上半身上まで、モーションが伸びる可能性のあるポーズで表示することです。肘掛け椅子に腰を下ろしたキャラクターは、リファレンスから持ち上げられたジャンプを優雅に開始することはできません。開始ポーズを大まかに一致させると、モーションへの移行がスムーズになります。
これが維持できる場所
マーケティング担当者は、アニメーターを雇うことなく、トレンド主導のキャンペーンのためにブランド マスコットをアニメーション化します。イラストレーターは自分自身を携帯電話で撮影し、描いたキャラクターに動きを渡します。クリエイターは、自分のアバターが実際にはやりたくないスタントを実行するクリップを作成します。いずれの場合も、リファレンス映像が演技を行い、AI がキャスティングを行います。
確固たるルールが 1 つあります。それは、自分が権利を持っている顔と映像のみを使用することです。あなた自身の写真、あなた自身のキャラクター、ライセンスされた素材。この点を考慮して、このツールは 1 つの静止画像と 1 つの借用した動きを、数週間ではなく数分で完成したアニメーションに変換します。
Frequently asked questions
これは通常の画像からビデオへのモデルとどう違うのですか?
標準的な画像からビデオへのモデルは、ゼロから、またはテキスト プロンプトからモーションを作成します。モーション コントロールは、指定したビデオからモーションをコピーし、書面によるプロンプトでは実現できないフレーム単位での振り付けの制御を可能にします。
生成されるクリップの長さはどれくらいですか?
キャラクターの向きがリファレンスビデオに従う場合は最大 30 秒、画像に従う場合は最大 10 秒です。いずれの場合も、出力時間はアップロードする参照映像に関連付けられます。
3.0 または古い 2.6 バージョンを使用する必要がありますか?
デフォルトは 3.0 です。要求の厳しい動きでも顔とディテールを安定させ、方向制御を追加します。バージョン 2.6 は、洗練よりも反復速度が重要な、迅速でリスクの低い実験には依然として意味があります。