Χάρτης βάθους για Seedance 2.5: πώς να παρακάμψετε το μπλοκάρισμα προσώπου

Seedance 2.5 αρνείται να εργαστεί εάν υπάρχει ένα αναγνωρίσιμο πρόσωπο ή ένα κομμάτι από την ταινία κάποιου άλλου στο κάδρο. Αυτός είναι ο τρόπος με τον οποίο η εταιρεία παλεύει ενάντια στις ψεύτικες διασημότητες, αλλά αφορά τους απλούς ανθρώπους: ένα μοντέλο μερικές φορές απορρίπτει ακόμη και τη δική σας selfie. Υπάρχει μια λύση και δεν αφορά το hacking. Το μοντέλο περνά εύκολα από τον χάρτη βάθους - μια ασπρόμαυρη εικόνα όπου η φωτεινότητα δείχνει την απόσταση από την κάμερα. Δεν υπάρχουν πρόσωπα πάνω του, μόνο η γεωμετρία της σκηνής. Παρακάτω είναι πώς να δημιουργήσετε έναν τέτοιο χάρτη από το βίντεό σας δωρεάν, απευθείας στο πρόγραμμα περιήγησης, και τι να κάνετε εάν η γενιά εξακολουθήσει να πέσει.

Γιατί ένα μοντέλο βλέπει μια διασημότητα εκεί που δεν υπάρχει;

Τα φίλτρα Seedance εκπαιδεύονται σε πρόσωπα. Το καθήκον τους είναι απλό: να αποτρέψουν την προσποίηση της εμφάνισης ενός διάσημου προσώπου. Το πρόβλημα είναι ότι ορίζουν τη «φήμη» από τη γεωμετρία του προσώπου και όχι από το όνομα στους τίτλους. Ένα παρόμοιο σχήμα ματιών, το ίδιο σχήμα πηγουνιού - και αυτό είναι, άρνηση.

Είναι ακόμα πιο εύκολο με το φιλμ: η προστασία πνευματικών δικαιωμάτων λειτουργεί εκεί. Το μοντέλο αναγνωρίζει τη σκηνή και δεν τη χάνει εντελώς, ακόμα κι αν θέλετε απλώς να επαναλάβετε την κίνηση της κάμερας.

Αποτέλεσμα: δύο διαφορετικές απαγορεύσεις, αλλά φαίνεται το ίδιο - κόκκινο λάθος και χάσιμο χρόνου.

Χάρτης βάθους: γεωμετρία αντί για πρόσωπα

Ένας χάρτης βάθους είναι το ίδιο βίντεο, επανασχεδιασμένος μόνο σε κλίμακα του γκρι. Όσο πιο κοντά βρίσκεται το αντικείμενο στην κάμερα, τόσο πιο φωτεινό είναι το pixel. Το φόντο γίνεται μαύρο, το φόντο σε λευκό. Χωρίς υφές, χωρίς δέρμα, χωρίς μάτια: το μόνο που μένει είναι το ανάγλυφο της σκηνής.

Αυτό είναι ένα βασικό σημείο για το φίλτρο. Δεν υπάρχει τίποτα για έλεγχο - δεν υπάρχουν πρόσωπα. Και για γενιά υπάρχουν όλα όσα χρειάζεστε: πού ήταν τα αντικείμενα, πού πήγαινε η κάμερα, πώς άλλαξε το σχέδιο. Δεν αντιγράφουμε το πλαίσιο κάποιου άλλου, παίρνουμε την κίνηση και τη διάταξη από αυτό και το μοντέλο σχεδιάζει τη δική του εικόνα, από την αρχή.

Ειλικρινά σχετικά με τον περιορισμό: δεν είναι ένα κουμπί "παράκαμψης όλων". Εάν ζητήσετε αμέσως το πρόσωπο ενός συγκεκριμένου ηθοποιού, η άρνηση θα έρθει ξανά. Ο χάρτης βάθους λύνει το πρόβλημα της γεωμετρίας και της κίνησης, όχι της υποκατάστασης της προσωπικότητας.

Πώς να φτιάξετε έναν χάρτη βάθους από ένα βίντεο - δωρεάν και χωρίς μεταφόρτωση στον διακομιστή

Στον ιστότοπό μας αυτό είναι ένα ξεχωριστό μοντέλο στην ενότητα βίντεο: Χάρτης βάθους (δωρεάν). Βρίσκεται στη λίστα με τα μοντέλα κάτω από το MiniMax. Επιλέγεις ένα βίντεο, πατάς ένα κουμπί και όλα υπολογίζονται στη συσκευή σου.

Τι υπάρχει μέσα: το μοντέλο Depth Anything V2 Small (άδεια Apache 2.0) παίζει απευθείας στο πρόγραμμα περιήγησης μέσω ONNX Runtime Web. Εάν έχετε WebGPU, η κάρτα γραφικών μετράει, εάν όχι, λειτουργεί η εφεδρική διαδρομή στον επεξεργαστή. Τα καρέ αναλύονται μέσω του WebCodecs και, στη συνέχεια, συναρμολογούνται ξανά σε βίντεο με το αρχικό FPS και τη μέγιστη ανάλυση που μπορεί να χειριστεί το πρόγραμμα περιήγησής σας.

Η έξοδος είναι MP4 ή WebM - αυτό που υποστηρίζει το πρόγραμμα περιήγησης. Υπάρχει μια προεπισκόπηση του αποτελέσματος, ένας διακόπτης "Closer - lighter / Closer - darker" και παλέτες: αποχρώσεις του γκρι, Inferno, Viridis. Η πρόοδος της επεξεργασίας είναι ορατή καρέ προς καρέ. η μακρά επεξεργασία μπορεί να ακυρωθεί.

Δύο πράγματα που έχουν μεγαλύτερη σημασία. Πρώτον: το αρχείο δεν πηγαίνει πουθενά - ούτε στον διακομιστή μας, ούτε σε κάποιον άλλο, όλη η εργασία πραγματοποιείται στη συσκευή. Δεύτερον: τα μάρκες δεν διαγράφονται για αυτό. δεν υπάρχει καθόλου πληρωμένο API σε αυτό το μοντέλο. Τα βάρη του μοντέλου και τα αρχεία του κινητήρα αποθηκεύονται προσωρινά στο πρόγραμμα περιήγησης, επομένως η σελίδα ξεκινά πιο γρήγορα τη δεύτερη φορά.

Εκεί που θα είναι άβολα. Χρειάζεστε Chrome ή Edge - WebCodecs δεν είναι διαθέσιμο παντού. Ένα μεγάλο βίντεο σε έναν επεξεργαστή δεν θεωρείται γρήγορο: ένα λεπτό αρχικού υλικού μπορεί να διαρκέσει αρκετά λεπτά. Και είναι καλύτερα να μην εκτελείτε το 4K σε έναν αδύναμο φορητό υπολογιστή - ξεκινήστε με 720p, δείτε το αποτέλεσμα και, στη συνέχεια, αυξήστε την ανάλυση.

Ανάπτυξη χαρακτήρα: δύο λάθη που σκοτώνουν το αποτέλεσμα

Η δεύτερη τεχνική από το ίδιο βίντεο είναι η σωστή ανάπτυξη του χαρακτήρα. Αυτή είναι μια φωτογραφία όπου το πρόσωπο και τα ρούχα εμφανίζονται χωριστά. Εξαρτάται από το πώς συναρμολογείται εάν το πρόσωπο θα επιπλέει στη γενιά ή θα παραμείνει στη θέση του.

Το πρώτο λάθος: το πρόσωπο και τα ρούχα σχεδιάζονται σε διαφορετικές κλίμακες. Το μοντέλο δεν καταλαβαίνει ότι αυτό είναι ένα άτομο και αρχίζει να συμπληρώνει η ίδια τις αναλογίες. Σφάλμα δεύτερο: η σάρωση συναρμολογείται από κομμάτια διαφορετικών ατόμων - τότε η έξοδος είναι ένα μέσο εξωγήινο πρόσωπο και το φίλτρο λειτουργεί ξανά.

Η επιλογή εργασίας είναι μία σάρωση, ένα άτομο, το ίδιο φως και γωνία και στα δύο μέρη.

Εάν η γενιά εξακολουθεί να αποτυγχάνει με ένα λάθος σχετικά με ένα αναγνωρίσιμο πρόσωπο

Συμβαίνει ότι ο χάρτης βάθους είναι στη θέση του, η σάρωση έχει συναρμολογηθεί σωστά, αλλά το Seedance εξακολουθεί να αρνείται. Αυτό σημαίνει ότι το πρόβλημα βρίσκεται σε μία από τις εικόνες και πρέπει να το βρούμε.

Η μέθοδος είναι απλή - η μέθοδος εξάλειψης. Αφαιρείς τις αναφορές μία προς μία και ξεκινάς ξανά. Μόλις περάσει η γενιά, έφταιγε η τελευταία φωτογραφία που αφαιρέθηκε. Στη συνέχεια, είτε το ξαναφτιάχνεις είτε τον αντικαθιστάς με έναν χάρτη βάθους.

Για πολύ καιρό; Ναί. Αλλά χωρίς να μαντέψετε: σε τρεις ή τέσσερις διαδρομές μπορείτε να δείτε τον ακριβή λόγο.

Και η δεύτερη τεχνική από το ίδιο βίντεο: ένα κανονικό πλέγμα εφαρμόζεται στην ένοχη εικόνα - ακόμη και τετράγωνα πάνω από το πρόσωπο. Το φίλτρο σταματά να βλέπει ολόκληρο το πρόσωπο, αλλά για γενιά τα χαρακτηριστικά παραμένουν ευανάγνωστα. Το πλέγμα τοποθετείται σε οποιοδήποτε πρόγραμμα επεξεργασίας ή απλά ζητείται από το νευρωνικό δίκτυο να «βάλει ένα τετράγωνο πλέγμα σε αυτήν τη φωτογραφία».

Μεταφέρετε την κίνηση της κάμερας από οποιαδήποτε ταινία

Η ίδια τεχνική λειτουργεί χωρίς αντικατάσταση του προσώπου. Παίρνετε ένα καρέ από μια ταινία, φτιάχνετε έναν χάρτη βάθους από αυτό, το δίνετε στο μοντέλο μαζί με την προτροπή σας - και παίρνετε τη σκηνή σας με την ίδια κίνηση της κάμερας: την ίδια προσέγγιση, την ίδια στροφή, τον ίδιο ρυθμό.

Έτσι γυρίζονται τρέιλερ, παρωδίες και διαφημίσεις όταν χρειάζεται μια «κινηματογραφική» βόλτα, αλλά δεν υπάρχει μπάτζετ για κάμεραμαν με γερανό.

Τι ακολουθεί

Η σειρά έχει ως εξής: πρώτα ο χάρτης βάθους - δωρεάν στο πρόγραμμα περιήγησης, χωρίς λήψη αρχείου και χωρίς διαγραφή διακριτικών. Τότε η ίδια η γενιά - Seedance 2.5 στον ιστότοπό μας, υπάρχει επίσης ανάπτυξη χαρακτήρων και αναφορές.

Εάν κάτι δεν λειτουργεί την πρώτη φορά, ξεκινήστε με ένα σύντομο κλιπ 3-5 δευτερολέπτων. Δείχνει τόσο την κίνηση της κάμερας όσο και τη συμπεριφορά του προσώπου και απαιτεί πολύ λιγότερο χρόνο και μάρκες.