Kling 3.0 Sterowanie ruchem: kopiuj prawdziwy ruch na zdjęcie dowolnej postaci
Bottom Line Up Front (BLUF): Kling 3.0 Sterowanie ruchem to generator wideo AI zbudowany w oparciu o transfer ruchu. Podaj mu zdjęcie postaci i film referencyjny przedstawiający poruszającą się osobę, a renderuje klip, na którym Twoja postać wykonuje dokładnie te ruchy — taniec, chód, gesty. Wygląd bierze się z obrazu, choreografia z materiału filmowego. To trzecia i najbardziej precyzyjna generacja tej technologii.
Co właściwie robi transfer ruchu
Załóżmy, że potrzebujesz ilustrowanej maskotki do wykonania popularnego tańca. Nikt nie rezerwuje w tym celu studia motion-capture. Zamiast tego przesyłasz klip przedstawiający prawdziwą osobę wykonującą taniec jako odniesienie, dołączasz obraz maskotki i generujesz. System odczytuje ruch ciała z nagrania wideo i odtwarza go klatka po klatce z Twoją postacią.
Pozwala to pominąć podstawową słabość filmów wyświetlanych za pomocą tekstu: choreografii prawie nie da się opisać słowami. Tutaj nigdy tego nie opisujesz – tylko to demonstrujesz. Cokolwiek dzieje się w referencji, dzieje się na wyjściu, wykonywanym przez osobę na zdjęciu: fotografowaną osobę, postać marki, ręcznie rysowanego bohatera.
Jak 3.0 poprawia się w wersji 2.6
Na stronie dostępne są obie generacje, a różnica między nimi jest realna. Wersja 3.0 znacznie lepiej zachowuje tożsamość postaci dzięki złożonym ruchom, radzi sobie z szybkimi zmianami pozycji przy mniejszej liczbie roztopionych rąk i dryfujących twarzy i generalnie wymaga mniejszej liczby prób, aby uzyskać ujęcie nadające się do publikacji. Jeśli chcesz zobaczyć wszystko, co ma zobaczyć publiczność, zacznij tutaj.
Wprowadza także kontrolę, której brakuje swojemu poprzednikowi: orientację postaci. Ty decydujesz, czy położenie i ustawienie figury mają być zgodne z filmem referencyjnym, czy też pozostać zgodne z przesłanym obrazem. To rozwiązuje klasyczny ból głowy starej generacji, polegający na tym, że postać w ramce portretowej została niezręcznie wciśnięta w scenę w ramce krajobrazowej.
Tryby orientacji, rozdzielczość i długość klipu
Wybranie opcji „Obserwuj wideo” powoduje dopasowanie Twojej postaci do wykonawcy z odniesienia i obsługuje klipy o długości do 30 sekund — wystarczające na pełną sekcję taneczną lub rozszerzony skecz. Wybranie opcji „Podążaj za obrazem” powoduje zachowanie kadru zdjęcia, ale ograniczenie wyników do 10 sekund. Wybierz na podstawie tego, czy ważniejsza jest długość czy wierność kompozycji.
Rozdzielczość to proste menu rozwijane: 720p dla szybkich wersji roboczych, 1080p dla ostatecznego renderowania, które zamierzasz opublikować. Rozsądnym sposobem działania jest tania iteracja przy 720p, aż do kliknięcia pary zdjęcie-odniesienie, a następnie pełne zregenerowanie zwycięzcy przy HD. Wyniki są przechowywane w Twojej historii do pobrania lub rozszerzenia.
Wybór filmu referencyjnego, który działa
Najlepsze referencje pokazują jednego wykonawcę, w pełni w kadrze, z czytelnym ruchem i stabilną kamerą. Twarde cięcia, okluzje i drżący materiał zakłócają śledzenie ruchu. Jeśli pożyczasz taniec z mediów społecznościowych, wybierz ujęcie, w którym tancerz jest widoczny od stóp do głów od pierwszej do ostatniej sekundy.
Twój wizerunek postaci ma podobne wymagania: pokaż figurę co najmniej do pasa, w pozycji, z której ruch mógłby prawdopodobnie wyrastać. Postać opadła na fotel nie będzie z wdziękiem skakać z pozycji odniesienia. Dopasuj mniej więcej pozy początkowe, a przejście do ruchu pozostanie płynne.
Gdzie to zarabia na utrzymanie
Marketerzy animują maskotki marek na potrzeby kampanii opartych na trendach bez zatrudniania animatora. Ilustratorzy filmują się telefonem i przekazują ruch narysowanym postaciom. Twórcy tworzą klipy przedstawiające ich awatary wykonujące akrobacje, których woleliby nie wykonywać osobiście. W każdym przypadku materiał referencyjny odgrywa rolę aktorską, a sztuczna inteligencja dokonuje castingu.
Istnieje jedna sztywna zasada: używaj tylko twarzy i nagrań, do których masz prawa. Własne zdjęcia, własne postacie, materiały licencjonowane. Mając to na uwadze, narzędzie przekształca pojedynczy nieruchomy obraz i jeden zapożyczony ruch w gotową animację w ciągu kilku minut, a nie tygodni.
Częste pytania
Czym różni się to od normalnego modelu przetwarzania obrazu na wideo?
Standardowy model obrazu na wideo tworzy ruch od podstaw lub na podstawie podpowiedzi tekstowej. Funkcja Motion Control kopiuje ruch z dostarczonego filmu, zapewniając kontrolę nad choreografią z dokładnością do klatki, której nie dorównuje żadna pisemna zachęta.
Jak długi może być wygenerowany klip?
Do 30 sekund, jeśli orientacja postaci jest zgodna z filmem referencyjnym i do 10 sekund, jeśli jest zgodna z obrazem. Tak czy inaczej, czas trwania filmu jest powiązany z przesłanym materiałem referencyjnym.
Czy powinienem używać wersji 3.0 czy starszej wersji 2.6?
Domyślnie 3.0: utrzymuje stabilność twarzy i szczegółów podczas wymagających ruchów i dodaje kontrolę orientacji. Wersja 2.6 nadal ma sens w przypadku szybkich eksperymentów o niskiej stawce, w których szybkość iteracji ma większe znaczenie niż dopracowanie.