HappyHorse Reference-to-Video: видео по нескольким референсам
HappyHorse Reference-to-Video — генерация видео нейросетью не по одной картинке, а по целому набору: можно загрузить от одного до девяти референсных изображений и текстом объяснить, как собрать из них сцену. Персонаж с одного фото, одежда со второго, фон с третьего — модель объединяет всё это в единый ролик.
Сборка сцены из нескольких изображений
Ключевое отличие этого режима — до девяти референсов в одной генерации. Каждый снимок отвечает за свой элемент будущего ролика: герой, второй персонаж, предмет, локация, стиль. В тексте вы объясняете, кто есть кто и что происходит: «мужчина с первого фото сидит в кафе с третьего фото и держит кружку со второго».
Такой подход решает задачу, с которой обычный image-to-video не справляется: свести в один кадр объекты, которые никогда не снимались вместе. Товар и модель из разных съёмок, персонаж и нарисованный фон, два героя из разных фотосессий — всё оказывается в одной сцене без фотошопа.
Как модель понимает референсы
Нейросеть не вклеивает картинки в кадр, а изучает их: облик персонажа, форму предмета, палитру локации — и заново рисует всё это в движении. Поэтому герой может повернуться, пройтись и взять предмет в руки, оставаясь узнаваемым. Чем чётче референс и чем меньше на нём лишнего, тем точнее перенос.
Помогайте модели текстом: прямо указывайте роли изображений и связи между ними. Формулировка «девушка с фото 1 в куртке с фото 2 идёт по улице с фото 3» работает заметно лучше, чем общее «сделай красивое видео по этим картинкам». Роли распределили вы — модели остаётся только оживить сцену.
Форматы кадра: от сторис до широкого экрана
В отличие от режима с одним фото, здесь соотношение сторон выбирается вручную: горизонтальное 16:9, вертикальные 9:16 и 3:4, квадрат 1:1 и классическое 4:3. Один и тот же набор референсов можно превратить и в вертикальный ролик для сторис, и в широкий кадр для сайта.
Длительность настраивается от 3 до 15 секунд, разрешение — 720p или 1080p. Для перебора идей выгоднее короткие черновики в 720p, а финал — длиннее и в 1080p. Поле seed позволяет закрепить удачную композицию и менять только детали описания.
Идеи применения: реклама, персонажи, каталоги
Самый благодарный сценарий — ролики с постоянным персонажем: маскот бренда, герой комикса, виртуальный ведущий. Загружаете его изображения в каждую генерацию — и получаете серию видео, где герой остаётся собой. Для магазинов это способ показать товар «в жизни»: фото товара плюс фото подходящего интерьера.
Работает и в креативных задачах: собрать сказочную сцену из детского рисунка и фотографии ребёнка, поместить питомца в нарисованный мир, соединить эскиз костюма с реальной моделью. Всё, что раньше требовало коллажей и ручной обработки, здесь делается одной генерацией.
Как подобрать удачный набор референсов
Не стремитесь заполнить все девять слотов: чем больше изображений, тем сложнее модели расставить приоритеты. Начните с двух-трёх ключевых — герой, объект, фон — и добавляйте остальные, только если в ролике реально не хватает конкретной детали. Каждый лишний референс размывает внимание нейросети.
Следите за совместимостью: если персонаж снят при дневном свете, а локация — ночная неоновая улица, модели придётся выкручиваться, и стыки станут заметны. Референсы в близкой гамме и с похожим освещением дают цельную картинку, в которую веришь с первого кадра.
Частые вопросы
Сколько референсов можно загрузить?
От одного до девяти изображений в одной генерации. Начинать лучше с двух-трёх ключевых: герой, предмет, фон. Добавляйте больше, только когда точно понимаете, за какую деталь сцены отвечает каждый новый снимок.
Сохранится ли лицо человека с референса?
Модель старается сохранить узнаваемость персонажа, и обычно сходство хорошее, но это генерация заново, а не копия фото. Помогают чёткий крупный портрет без лишних людей в кадре и прямое указание в тексте, что внешность менять нельзя.
Чем этот режим отличается от обычного image-to-video?
Обычный режим оживляет одну картинку, сохраняя её композицию. Здесь же вы приносите несколько изображений-источников, а сцену модель строит новую — по вашему описанию. Это выбор для случаев, когда нужного кадра просто не существует.