Чтобы сгенерировать видео нейросетью по описанию, исходное фото не нужно: она создаёт сцену и движение по вашему тексту. Начните с одного короткого эпизода с понятным началом и финалом — его легче контролировать.
Один непрерывный план. Вечерняя улица большого города, закат над крышами, неоновые вывески и красные огни светофоров. Мужчина в голубой рубашке с коротким рукавом, блестящих фиолетовых шортах, розово-голубой повязке на голове, тёмных очках и больших наушниках бежит прямо на камеру, на поясе кассетный плеер. Кудрявые волосы, густые усы, руки согнуты, шаг ровный. Ручная камера движется назад перед ним с той же скоростью, чуть дрожит, по краям кадра лёгкое смазывание от движения.
Например: мужчина в наушниках бежит по вечерней улице прямо на камеру.
Для нескольких планов разделите их явно; не требуйте одновременно неподвижный кадр и облет вокруг героя.
Проверьте стоимость. После генерации оцените причинность действий, постоянство предметов и попадание реплик во время.
В этом примере есть герой, исходная ситуация, последовательное действие, положение камеры и конечное состояние. Длительность выбирайте в настройках модели так, чтобы действие помещалось в ролик. Звук задавайте отдельно только в режиме, который его поддерживает.
Неудачная формулировка: «Камера стоит неподвижно и одновременно облетает бегуна».
Для фиксированного кадра: «Камера неподвижна; двигается только бегун».
Для движения камеры: «Камера плавно движется назад перед бегуном; он остаётся в центре кадра». Это другой вариант сцены, его не нужно добавлять к указанию о неподвижной камере.
Не все модели требуют английский. Начните с ясного запроса на удобном языке; при плохом понимании сравните переформулировку.
В нём могут быть конкурирующие события и противоречивые указания. Оставьте то, что реально видно в выбранном хронометраже.
Текст может не удержать точное лицо. Подготовьте карточку персонажа и используйте модель с референсами.