статья Как нейросеть Luma оживляет фото - подробный Гайд

[Baki]

В этой статье мы обсудим, как нейросеть Luma оживляет фото. Заранее предупреждаем: хотя Luma имеет возможность анимировать изображения по промту, не используя предоставленное вами исходное изображение, этот метод очень нестабилен и в него не стоит углубляться. Вместо этого мы сосредоточимся на анимации уже существующих изображений.

Чтобы использовать Luma, вам понадобится оригинальное изображение, соответствующее вашим стандартам качества. Это изображение может быть фотографией или сгенерированным нейронной сетью, такой как Midjourney, Stable Diffusion, Dalle и другими.

Рекомендации по созданию изображений с помощью этих нейронных сетей можно найти на нашем форуме:

• Статьи - Миджорни
• Статьи - Stable Diffusion
• Статьи - Dalle 3

Обратите внимание, что нейронная сеть Luma строго запрещает анимацию контента для взрослых, сцен насилия и любых материалов, которые могут быть сочтены оскорбительными для определенных групп людей, включая темы, связанные с политикой и религией.

Примеры анимации изображений Luma вы можете найти в галерее форума.

 

Рассмотрим несколько способов оживления фото с помощью нейросети Luma

1. Анимация на основе фото и текста (промта).

Это один из самых простых и популярных способов.

• Откройте Telegram и найдите бота @yes_ai_bot
• В нижнем меню нажмите на "нейросеть: [изменить]" и в новом сообщении выберите «Yes Video»
• Выберите метод «Ani-Image» для анимации изображения
• Отправьте боту любую картинку размером не более 2000 пикселей по высоте или ширине
• В появившемся меню выберите нейросеть «🐠 Luma»

 

• Далее нужно нажать кнопку "Prompt" > "♻️ Изменить"

 

• Напишите и отправьте в сообщении (промте) то, что бы вы хотели оживить на фото
  Нейронная сеть отлично справляется с анимацией объектов, людей и животных, но не стесняйтесь экспериментировать с уникальными изображениями. Имейте в виду, что Luma не может создавать идеальную анимацию, и некоторые детали в вашем приглашении могут быть упущены из виду.
• После отправки сообщения нажмите кнопку «↖️ Вернуться».
• Если вы хотите создать видео с бесконечной (зацикленной) анимацией, то активируйте опцию "✅ Зациклить видео".

• Затем запустите процесс генерации, нажав кнопку «🎞️ Анимировать изображение».
  Процесс анимации займет всего несколько минут, в результате чего получится 6-секундное видео.

Способ написания запросов (промтов) №1: краткие инструкции
Опишите объект в кадре, его действия и движения. Нейронная сеть Luma заполнит любые детали анимации, которые вы упустите.
Например: девушка идет по улице
Дополнительно в Yes Ai Bot можно писать подсказки на любом языке, включая русский.

Способ написания запросов (промтов) №2: подробные рекомендации, изображение предметов, стиль и дополнительная специфика.
Обеспечьте подробное описание элементов сцены, включая их действия, движения персонажей, следует ли им заниматься такими видами деятельности, как танцы и т. д.
Детализируйте динамику камеры: увеличение и уменьшение масштаба, панорамирование влево/вправо/вверх/вниз и т. д.
Продумайте обстановку, освещение и другие нюансы.
Пример: Молодая женщина в лазурном платье прогуливается по проспекту, устремив взгляд вперед. Порыв ветра подхватывает ее лазурный шарф, отбрасывая его в сторону. Ярко светит солнце, и камера постепенно отодвигается назад, фиксируя отражения света, отражающиеся от окон здания.

Обратите внимание, что при выборе подробного описания для анимации необходимо дотошно описывать предметы, людей, окружение и другую специфику. Нейронная сеть Luma не будет пытаться изменить вашу анимацию. Важно детализировать не только то, что появляется в кадре, но и то, как эти элементы должны действовать или взаимодействовать друг с другом (например, ходить, прыгать, танцевать, летать и т. д.).

В большинстве случаев добиться качественного результата удается не с первой попытки. Вам понадобится опыт в составлении подсказок и выборе правильных исходных изображений. Исходное изображение играет решающую роль; лучше всего выбирать такие, на которых хорошо видны предметы, люди и другие элементы. Размытые или искаженные изображения обычно приводят к созданию анимации с многочисленными ошибками.

2. Анимация на основе исходного изображения и финального кадра

Этот подход довольно прост, но качество анимации во многом зависит от согласованности предоставляемых вами изображений.
Например, если первое изображение — это кадр из «Матрицы», где Нео уклоняется от пуль, а последнее — «Мона Лиза» Леонардо да Винчи, то полученная анимация вряд ли будет качественной. Это связано с тем, что эти два кадра имеют очень мало общего с точки зрения содержания.

Вы добьетесь более стабильных результатов, если и в начальном, и в последнем кадре будет изображен один и тот же персонаж (или похожие персонажи), но с разных ракурсов или в разных позах. Простое правило: чем более согласованными являются исходные кадры, тем более последовательными будут ваши результаты.

Инструкция по созданию анимацию в Luma, используя две картинки:

• Откройте @yes_ai_bot
• В нижнем меню нажмите на "нейросеть: [изменить]" и в новом сообщении выберите «Yes Video»
• Загрузите изображение, которое хотите использовать в качестве первого кадра анимации.
• В появившемся меню нажмите кнопку «Финальный кадр», а затем выберите «📥 Загрузить», чтобы загрузить второе изображение.

 

• Отправьте боту последний кадр анимации в виде картинки.
• Отправив его, нажмите кнопку «↖️ Вернуться назад» и начните генерировать.

Внимание! Убедитесь, что первый и последний кадры различаются. Загрузите отдельные изображения для этих рамок; в противном случае видео будет иметь статичное изображение.

Предлагаем поэкспериментировать с различными стилями изображения, например, реализмом и аниме. Не забудьте поделиться своими достижениями, репостнув их в специальной теме Luma на нашем форуме Telegram.

3. Как анимировать изображение, используя начальный и конечный кадры

Этот метод объединяет первые два подхода, позволяя при отправке задачи указать как начальный, так и конечный кадр. Это сделает анимацию более предсказуемой.

Никаких дополнительных объяснений не требуется; просто следуйте инструкциям из первых двух пунктов.

Однако стоит отметить, что любую анимацию, созданную в Luma, можно расширить. Нейронная сеть имеет возможность продолжить ранее созданное видео.

Чтобы продлить видео, созданное в Luma, выполните следующие действия:

• Дождитесь результата генерации ранее отправленной задачи.
• В меню под видео нажмите кнопку «⏩️ Продлить видео», затем выберите «⏩️ Продолжить видео».
• Система предложит ввести текстовое описание того, что должно произойти в следующие 5 секунд видео. Напишите в личку следуя данной инструкции и отправьте боту.
• Дождитесь результата генерации.

У вас есть возможность продлить видеоряд несколько раз. Каждый раз, когда вы повторяете этот процесс, видео получает дополнительные пять секунд анимации. Вы можете использовать разные анимации для каждого сегмента.

Если вас не устраивает анимация нового сегмента, вы можете вернуться к предыдущему шагу и еще раз продлить видео, используя более подходящую подсказку.

4. Как управлять движением камеры в Luma 1.6

🚩 [Обновление от 4 сентября 2024 г.] Нейронная сеть Luma Dream Machine обновлена до версии 1.6, в которой появилась возможность вращать камеру во время анимации изображений. Чтобы использовать эту функцию, просто включите в свои запрос (промпт) команду, определяющую желаемую технику движения камеры.

Вот команды, доступные для управления камерой в Dream Machine Luma:

• camera move left (перемещает камеру влево)

• camera move right (перемещает камеру вправо)

• camera move up (перемещает камеру вверх)

• camera move down (перемещает камеру вниз)

• camera push in (приближение камеры к объекту)

• camera pull out (уменьшение масштаба путем удаления камеры от объекта)

• camera pan left (поворачивает камеру влево вокруг своей оси)

• camera pan right (поворачивает камеру вправо вокруг своей оси)

• camera orbit left (камера вращается вокруг объекта слева)

• camera orbit right (камера вращается вокруг объекта справа)

• camera crane up (поднимает камеру вверх вокруг объекта съемки)

• camera crane down (опускает камеру вниз вокруг объекта съемки)

Вы можете использовать все эти команды с помощью @yes_ai_bot просто включите любой из методов движения камеры в свое текстовое описание при отправке нового запроса на анимацию в Luma.
 

Подводим итоги:

Нейронная сеть Luma представляет собой значительный шаг вперед по сравнению со Stable Video Diffusion. Он предлагает более широкий набор функций, возможность ввода текстовых описаний и возможность указать конечные или промежуточные кадры.

Luma более надежно «поддерживает» контекст исходных изображений, сохраняя внешний вид персонажей и деталей.

Однако все же есть некоторые недостатки:

• Luma может проигнорировать ваш запрос, если не поймет, как интегрировать его в изображение.
• Лица людей могут меняться во время анимации.
• Движения, особенно ходьба, не всегда могут показаться убедительными

Однако важно понимать, что нейронные сети быстро развиваются, и в ближайшем будущем такие инструменты, как Luma, могут стать значительно более продвинутыми.

Yes Ai предоставляет доступ к API для нейросети Luma - вы можете открыть функции оживления картинок своим клиентам - Открыть документацию

Даже сегодня с помощью нейронных сетей можно добиться довольно качественной анимации изображений, особенно если включить дополнительные инструменты постобработки.

Приведем пример постобработки:

 

[Yes_Ai]

Суть текста: Статья посвящена нейросети Luma, которая может оживлять фото по промту. В тексте подробно описаны три способа анимации с помощью Luma:

1. **Анимация на основе фото и текста (промта):** пользователь отправляет боту фотографию и текст с описанием желаемой анимации.
2. **Анимация на основе исходного изображения и финального кадра:** пользователь загружает два изображения - начальный и конечный кадры - и Luma генерирует анимацию между ними.
3. **Анимация с указанием начального и конечного кадров:** комбинация двух предыдущих методов, где пользователь указывает как начальный, так и конечный кадр для более предсказуемой анимации.

В статье также говорится о том, что Luma не допускает анимацию контента для взрослых, сцен насилия и оскорбительного материала.

Кроме того, авторы статьи дают советы по составлению промтов для лучшей анимации: краткие инструкции или подробные рекомендации с описанием деталей сцены, движения персонажей, камеры и т.д. Важно также выбирать качественные исходные изображения для получения более точной анимации.

В статье отмечается, что Luma превосходит Stable Video Diffusion по функциональности и надежности, но все же имеет некоторые недостатки, такие как игнорирование запроса или изменение лиц людей во время анимации.

[kolaytor]

Да. Запросы довольно таки часто игнорит :) !  Я долго бился ,а потом плюнул , над тем что бы дать правильный промт для остановки камеры и зума т.е. мне было нужно что бы камера не двигалась и зум был постоянным .  Так и не смог её победить . Чем больше описываешь поведение камеры  тем больше игнорит.