Клип без камерыи актёров

Сначала история

Мы не начинали с картинок. Сначала взяли трек и придумали, про что будет клип: викинг на заснеженном мосту, один против толпы. Сеттинг даёт всё остальное — костюмы, оружие, погоду и цвет.

Дальше текст песни превращается в раскадровку. Выпиши строчки и под каждую придумай один кадр: кто в кадре, что делает и откуда смотрит камера.

Герой, противник и топор

Нейросеть не помнит, как выглядел персонаж в прошлом кадре. Чтобы внешность не «плыла», под каждого героя и важный предмет делаем карточку: один и тот же объект с нескольких ракурсов на нейтральном фоне.

• Персонаж: спереди, сзади и крупный план лица.
• Противник: три ракурса в полный рост.
• Реквизит: общий вид и крупные детали.

Потом мир вокруг

Отдельно генерируем место действия. У нас это деревянный мост над рекой, снег и туман. Локация задаёт палитру и свет для всех кадров, поэтому её лучше утвердить до того, как появится первый ролик.

Полезно сделать несколько видов одного места: общий план, вид снизу и вид сверху. Они пригодятся как референсы для разных ракурсов камеры.

Серый превиз

Здесь решается главное: ракурс, тайминг и движение. Красоты на этом шаге не нужно. Мост собран из простых досок, вместо актёров стоят болванки, у нужных предметов вообще кубики.

• Собери локацию из примитивов в правильных пропорциях.
• Поставь болванки и задай им анимацию: шаг, замах, падение.
• Покрась персонажей в разные цвета, если они в кадре вдвоём. Так нейросеть не перепутает, кто есть кто.
• На каждый кадр из раскадровки поставь свою камеру и отрендерь короткий ролик.

У нас получилось 12 шотов длиной от одной до шести секунд, рендер прямо из вьюпорта в 1920×1080.

Из серого в кино

Каждый ролик из Blender отправляем в Video Edit вместе с референсами: карточками персонажей и кадром локации. Нейросеть берёт из превиза движение и камеру, а внешний вид — из карточек.

• Один шот — одна генерация. Длинные сцены режь на куски.
• В промпте опиши, что происходит в кадре, и назови, какой цвет болванки какому персонажу соответствует.
• Если лицо или костюм отличаются от карточки, перегенерируй шот, а не правь его потом на монтаже.

Собираем клип

Готовые шоты собираем в After Effects под трек в том же порядке, что и превиз. Дальше каждый кадр раскладывается на слои.

Чтобы строчки песни стояли внутри кадра, а не поверх него, героя вырезаем ротоскопом. Текст кладём между фоном и вырезанным героем и анимируем под строчки трека. Шрифт с руническим характером поддерживает сеттинг.

Сверху общий цвет: уводим картинку в чёрно-белую с зерном, чтобы все кадры выглядели как один фильм и мелкие расхождения между генерациями перестали бросаться в глаза. Красными остаются только титры.