← 所有文章

Seedance 2.5的深度图:如何绕过人脸遮挡

帧被分成两半:左边是普通视频,右边是真实的黑白深度图

如果画面中有可识别的面孔或别人的胶片,Seedance 2.5将拒绝工作。这就是该公司打击名人假货的方式,但对于普通人来说:模特有时甚至会拒绝你自己的自拍照。有一个解决方法,而且与黑客攻击无关。该模型可以轻松地通过深度图 - 一张黑白图片,其中亮度显示到相机的距离。它上面没有面孔,只有场景的几何形状。以下是如何在浏览器中免费从视频中制作这样的地图,以及如果一代仍然下降该怎么办。

为什么模特会在没有名人的情况下看到名人?

过滤器 Seedance 在面部上进行训练。他们的任务很简单:防止名人的外表被伪造。问题在于,他们通过面部的几何形状来定义“名气”,而不是通过片尾字幕中的名字来定义。相似的眼睛形状,相同的下巴形状——就是这样,拒绝。

对于电影片段来说,这就更容易了:版权保护在那里发挥作用。即使您只是想重复相机的移动,模型也能识别场景并且不会完全错过它。

结果:两种不同的禁令,但看起来相同 - 红色错误和浪费时间。

深度图:几何而不是面

深度图是相同的视频,只是以灰度重新绘制。物体距离相机越近,像素越亮。背景淡入黑色,背景淡入白色。没有纹理,没有皮肤,没有眼睛:剩下的只是场景的浮雕。

这是过滤器的关键点。没有什么可检查的——没有面孔。对于生成,您需要的一切都有:物体在哪里、相机在哪里、计划如何改变。我们不会复制别人的框架,我们会从中获取动作和布局,然后模特从头开始绘制自己的图片。

老实说,它的限制是:它不是一个“绕过一切按钮”。如果你立即直接要求特定演员的脸,拒绝又会来。深度图解决的是几何和运动的问题,而不是个性替换的问题。

左边是原始视频帧,右边是它的深度图:亮度显示相机到物体的距离

如何从视频制作深度图 - 免费且无需上传到服务器

在我们的网站上,这是视频部分中的单独模型: 深度图(免费)。它位于MiniMax下的型号列表中。您选择一个视频,按下一个按钮,一切都会在您的设备上计算。

里面有什么:模型Depth Anything V2 Small(许可证Apache 2.0)通过ONNX Runtime Web直接在浏览器中播放。如果有 WebGPU,则显卡有效,如果没有,则处理器上的备份路径有效。帧通过 WebCodecs 进行解析,然后用原始 FPS 和浏览器可以处理的最大分辨率组装回视频。

输出是 MP4 或 WebM - 浏览器支持的内容。有结果预览、“更近 - 更亮/更近 - 更暗”开关和调色板:灰色阴影、Inferno、Viridis。处理进度一帧一帧可见;长时间处理可以取消。

最重要的两件事。首先:文件不会去任何地方 - 既不会发送到我们的服务器,也不会发送到其他人的服务器,所有工作都在设备上进行。第二:代币不会因此被注销;该模型根本没有付费 API。模型权重和引擎文件缓存在浏览器中,因此页面第二次启动速度更快。

哪里会不舒服。您需要 Chrome 或 Edge - WebCodecs 并非随处可用。处理器上的长视频并不被认为是快的:一分钟的源材料可能需要几分钟。最好不要在性能较差的笔记本电脑上运行 4K - 从 720p 开始,查看结果,然后提高分辨率。

性格发展:毁掉结果的两个错误

同一视频中的第二个技巧是角色的正确发展。这是一张脸和衣服分开显示的照片。这取决于它的组装方式,面部是漂浮在生成中还是保持在原位。

第一个错误:脸部和衣服的比例不同。模特不明白这是一个人,并开始自己完成比例。错误二:扫描是由不同人的片段组合而成的 - 然后输出是平均的外星人脸,过滤器再次起作用。

工作选项是一个人进行一次扫描,两个部位使用相同的光线和角度。

如果生成仍然失败并出现有关可识别人物的错误

碰巧深度图就位,扫描组装正确,但Seedance仍然拒绝。这意味着问题出在其中一张图片中,我们需要找到它。

方法很简单——排除法。您将引用一一删除并重新开始。一旦一代人过去,最后一张被删除的照片就是罪魁祸首。然后您可以重建它或用深度图替换它。

许久?是的。但无需猜测:运行三到四次您就可以看到确切的原因。

同一视频中的第二种技术:将规则网格应用于有罪的图片 - 甚至在脸上应用正方形。过滤器不再看到整个脸部,但对于生成来说,特征仍然是可读的。网格可以放置在任何编辑器中,或者简单地要求神经网络“在这张照片上放置一个方形网格”。

从任何电影传输相机运动

同样的技术无需更换脸部即可发挥作用。您从电影中取出一帧,从中制作深度图,将其与提示一起提供给模型 - 然后您就可以使用相同的相机移动来获得场景:相同的方法,相同的转弯,相同的节奏。

当需要“电影般”的乘坐体验时,预告片、模仿秀和广告就是这样拍摄的,但摄影师没有预算,无法使用起重机。

接下来是什么

顺序如下:首先是深度图 - 在浏览器中免费,无需下载文件,也无需注销令牌。然后这一代人本身—— Seedance 2.5 在我们的网站上,还有角色发展和参考。

如果某些东西第一次不起作用,请从 3-5 秒的短片开始。它可以显示相机运动和面部行为,并且花费的时间和令牌要少得多。