Kling 3.0 Motion Control: copia il movimento reale sulla foto di qualsiasi personaggio
Bottom Line Up Front (BLUF): Kling 3.0 Motion Control è un generatore video AI costruito attorno al trasferimento del movimento. Alimentalo con la foto di un personaggio e un video di riferimento di qualcuno che si muove e visualizzerà una clip in cui il tuo personaggio esegue quei movimenti esatti: la danza, la camminata, i gesti. L'apparenza viene dall'immagine, la coreografia viene dal filmato. Questa è la terza e più precisa generazione della tecnologia.
Cosa fa effettivamente il trasferimento del movimento
Supponiamo che tu abbia bisogno che la tua mascotte illustrata esegua una danza di tendenza. Nessuno prenota uno studio di motion capture per questo. Invece, carichi una clip di una persona reale che balla come riferimento, alleghi l'immagine della mascotte e generi. Il sistema legge il movimento del corpo dal video e lo riesegue con il tuo personaggio, fotogramma per fotogramma.
Ciò elude la debolezza principale dei video guidati da testo: la coreografia è quasi impossibile da descrivere a parole. Qui non lo descrivi mai: lo dimostri. Qualunque cosa accada nel riferimento accade nell'output, eseguito da chiunque sia nella tua foto: una persona fotografata, un personaggio del marchio, un eroe disegnato a mano.
Come 3.0 migliora rispetto alla versione 2.6
Entrambe le generazioni sono disponibili sul sito e il divario tra loro è reale. La versione 3.0 preserva molto meglio l'identità del personaggio attraverso movimenti complessi, gestisce rapidi cambi di posa con meno mani fuse e volti alla deriva e generalmente richiede meno tentativi per ottenere una ripresa pubblicabile. Per qualsiasi cosa destinata ad essere vista dal pubblico, inizia da qui.
Introduce anche un controllo che manca al suo predecessore: l'orientamento del personaggio. Decidi tu se il posizionamento e il orientamento della figura devono seguire il video di riferimento o rimanere fedeli all'immagine caricata. Ciò risolve il classico mal di testa della vecchia generazione in cui un personaggio incorniciato da un ritratto veniva goffamente stipato in una scena incorniciata da un paesaggio.
Modalità di orientamento, risoluzione e durata del clip
Scegliendo "segui il video" il tuo personaggio si allinea con l'attore nel riferimento e supporta clip fino a 30 secondi, sufficienti per una sezione di danza completa o una scenetta estesa. Scegliendo "segui l'immagine" mantieni l'inquadratura della tua immagine ma limita l'output a 10 secondi. Scegli in base al fatto che la lunghezza o la fedeltà alla tua composizione siano più importanti.
La risoluzione è un semplice menu a discesa: 720p per bozze veloci, 1080p per il rendering finale che intendi pubblicare. Un flusso di lavoro sensato consiste nell'iterare in modo economico a 720p finché l'accoppiamento foto-più-riferimento non fa clic, quindi rigenerare completamente il vincitore HD. I risultati vengono archiviati nella cronologia per il download o l'estensione.
Scegliere un video di riferimento che funzioni
Le migliori referenze mostrano un artista, completamente inquadrato, con movimenti leggibili e una fotocamera ferma. Tagli netti, occlusioni e filmati traballanti confondono il tracciamento del movimento. Se stai prendendo in prestito un ballo dai social media, scegli una ripresa in cui il ballerino rimane visibile dalla testa ai piedi dal primo secondo all'ultimo.
L'immagine del tuo personaggio ha requisiti paralleli: mostra la figura almeno dalla vita in su, in una posa da cui il movimento potrebbe plausibilmente svilupparsi. Un personaggio accasciato su una poltrona non si lancerà con grazia in un salto sollevato dal riferimento. Abbina approssimativamente le pose iniziali e la transizione al movimento rimane fluida.
Dove questo si guadagna da vivere
Gli esperti di marketing animano le mascotte del marchio per campagne di tendenza senza assumere un animatore. Gli illustratori si filmano su un telefono e trasmettono il movimento ai personaggi disegnati. I creatori producono clip dei loro avatar che eseguono acrobazie che preferirebbero non tentare di persona. In ogni caso, il filmato di riferimento esegue la recitazione e l'intelligenza artificiale esegue il casting.
C'è una regola fissa: usa solo volti e filmati di cui hai i diritti. Le tue foto, i tuoi personaggi, materiale concesso in licenza. Detto questo, lo strumento trasforma una singola immagine fissa più un movimento preso in prestito in un'animazione finita in pochi minuti anziché in settimane.
Domande frequenti
In cosa differisce da un normale modello da immagine a video?
Un modello standard da immagine a video inventa il movimento da zero o da un messaggio di testo. Motion Control copia il movimento da un video fornito, offrendoti un controllo accurato sulla coreografia che nessun suggerimento scritto può eguagliare.
Quanto può essere lungo il clip generato?
Fino a 30 secondi quando l'orientamento del personaggio segue il video di riferimento e fino a 10 secondi quando segue la tua immagine. In ogni caso, la durata dell'output è legata al filmato di riferimento caricato.
Dovrei usare 3.0 o la versione precedente 2.6?
Predefinito su 3.0: mantiene i volti e i dettagli stabili attraverso movimenti impegnativi e aggiunge il controllo dell'orientamento. La versione 2.6 ha ancora senso per esperimenti rapidi e a bassa posta in gioco in cui la velocità di iterazione conta più della rifinitura.