Kling 3.0 Motion Control : copiez le mouvement réel sur n'importe quelle photo de personnage
Bottom Line Up Front (BLUF): Kling 3.0 Motion Control est un générateur vidéo AI construit autour du transfert de mouvement. Donnez-lui une photo d'un personnage et une vidéo de référence d'une personne en mouvement, et il génère un clip dans lequel votre personnage exécute ces mouvements exacts : la danse, la marche, les gestes. L’apparence vient de l’image, la chorégraphie vient du métrage. Il s’agit de la troisième génération et la plus précise de la technologie.
Ce que fait réellement le transfert de mouvement
Supposons que vous ayez besoin de votre mascotte illustrée pour exécuter une danse tendance. Personne ne réserve un studio de capture de mouvements pour ça. Au lieu de cela, vous téléchargez un clip d'une personne réelle faisant la danse comme référence, joignez l'image de la mascotte et générez. Le système lit le mouvement du corps dans la vidéo et le réexécute avec votre personnage, image par image.
Cela contourne la principale faiblesse de la vidéo textuelle : la chorégraphie est presque impossible à décrire avec des mots. Ici, vous ne le décrivez jamais, vous le démontrez. Tout ce qui se passe dans la référence se produit dans le résultat, exécuté par la personne figurant sur votre photo : une personne photographiée, un personnage de marque, un héros dessiné à la main.
Comment 3.0 s'améliore par rapport à la version 2.6
Les deux générations sont disponibles sur le site, et l'écart entre elles est réel. La version 3.0 préserve bien mieux l'identité du personnage grâce à des mouvements complexes, gère les changements de pose rapides avec moins de mains fondues et de visages dérivants, et nécessite généralement moins de tentatives pour obtenir une prise publiable. Pour tout ce qui est destiné à être vu par un public, commencez ici.
Il introduit également un contrôle qui manque à son prédécesseur : l’orientation des caractères. Vous décidez si le placement et l'orientation de la figurine doivent suivre la vidéo de référence ou rester fidèles à votre image téléchargée. Cela corrige le mal de tête classique de l’ancienne génération où un personnage encadré par un portrait se retrouvait maladroitement entassé dans une scène encadrée par un paysage.
Modes d'orientation, résolution et longueur du clip
Choisir « suivre la vidéo » aligne votre personnage avec l'interprète de la référence et prend en charge les clips jusqu'à 30 secondes, soit suffisamment pour une section de danse complète ou un sketch prolongé. Choisir « suivre l'image » conserve le cadrage de votre image mais limite la sortie à 10 secondes. Choisissez selon que la longueur ou la fidélité à votre composition compte davantage.
La résolution est une simple liste déroulante : 720p pour les brouillons rapides, 1080p pour le rendu final que vous avez l'intention de publier. Un flux de travail judicieux consiste à itérer à moindre coût à 720p jusqu'à ce que l'appariement photo-plus-référence clique, puis à régénérer le gagnant dans son intégralité HD. Les résultats sont stockés dans votre historique pour téléchargement ou extension.
Choisir une vidéo de référence qui fonctionne
Les meilleures références montrent un artiste, entièrement dans le cadre, avec un mouvement lisible et une caméra stable. Les coupes dures, les occlusions et les séquences tremblantes confondent le suivi de mouvement. Si vous empruntez une danse aux réseaux sociaux, choisissez une prise dans laquelle le danseur reste visible de la tête aux pieds de la première à la dernière seconde.
L'image de votre personnage a des exigences parallèles : montrer la silhouette au moins jusqu'à la taille, dans une pose à partir de laquelle le mouvement pourrait vraisemblablement se développer. Un personnage affalé dans un fauteuil ne se lancera pas avec grâce dans un saut soulevé de la référence. Faites correspondre approximativement les poses de départ et la transition vers le mouvement reste fluide.
Où cela gagne sa place
Les spécialistes du marketing animent les mascottes de marque pour des campagnes axées sur les tendances sans embaucher d'animateur. Les illustrateurs se filment sur un téléphone et transmettent le mouvement à leurs personnages dessinés. Les créateurs produisent des clips de leur avatar réalisant des cascades qu’ils préféreraient ne pas tenter en personne. Dans chaque cas, la séquence de référence fait le jeu des acteurs et l’IA fait le casting.
Il existe une règle stricte : n’utilisez que des visages et des images sur lesquels vous détenez des droits. Vos propres photos, vos propres personnages, du matériel sous licence. Cela étant respecté, l'outil transforme une seule image fixe plus un mouvement emprunté en une animation terminée en quelques minutes plutôt qu'en semaines.
Questions fréquentes
En quoi est-ce différent d’un modèle image-vidéo normal ?
Un modèle standard d'image en vidéo invente le mouvement à partir de zéro ou à partir d'une invite textuelle. Motion Control copie le mouvement d'une vidéo que vous fournissez, vous offrant ainsi un contrôle précis de la chorégraphie qu'aucune invite écrite ne peut égaler.
Quelle peut être la durée du clip généré ?
Jusqu'à 30 secondes lorsque l'orientation des caractères suit la vidéo de référence, et jusqu'à 10 secondes lorsqu'elle suit votre image. Quoi qu’il en soit, la durée de sortie est liée à la séquence de référence que vous téléchargez.
Dois-je utiliser 3.0 ou l'ancienne version 2.6 ?
Par défaut 3.0 : il maintient les visages et les détails stables grâce à des mouvements exigeants et ajoute le contrôle d'orientation. La version 2.6 est toujours logique pour les expériences rapides et à faibles enjeux où la vitesse d'itération compte plus que le polissage.