статья Как нейросеть Luma оживляет фото - подробный Гайд

[Baki]

В этой статье обсудим, как нейросеть Luma оживляет фото.

!!! Хотя Luma имеет возможность анимировать изображения по запросу, не используя предоставленное исходное изображение, этот метод очень нестабилен, и в него не стоит углубляться. Поэтому сосредоточимся на анимации уже существующих изображений.

Чтобы использовать Luma для оживления фото, вам понадобится оригинальное изображение, соответствующее вашим стандартам качества. Это изображение может быть как фотографией, так и сгенерировано одной из нейронных сетей, таких как Midjourney, Stable Diffusion, DALL-E и др.

Рекомендации по созданию изображений с помощью этих нейронных сетей найдете на нашем форуме:

• статьи - Миджорни
• статьи - Stable Diffusion
• статьи - Dalle 3

Обратите внимание, что нейронная сеть Luma строго запрещает анимацию контента для взрослых, сцены насилия и любые материалы, которые могут быть сочтены оскорбительными для определенных групп людей, включая темы, связанные с политикой и религией.

Примеры анимации изображений Luma можно найти в галерее форума.

 

Способы оживления фото с помощью нейросети Luma

1. Анимация на основе фото и текста (промта).

Этот один из самых простых и популярных способов включает в себя ряд действий:

1. Открыть Telegram и найти бота @yes_ai_bot
2. Нажать в нижнем меню на "нейросеть: [изменить]" и выбрать в новом сообщении «Yes Video».
3. Выбрать метод «Ani-Image» для анимации изображения.
4. Отправить боту любую картинку размером не более 2000 пикселей по высоте или ширине.
5. Выбрать в появившемся меню нейросеть «🐠 Luma».
6. Написать и отправить в сообщении (промте), что вы хотели бы оживить на фото.
   Нейронная сеть отлично справляется с анимацией объектов, людей и животных, но не стесняйтесь экспериментировать с уникальными изображениями. Имейте в виду, что Luma не может создавать идеальную анимацию, и некоторые детали в вашем приглашении могут быть упущены из виду.
7. Нажать после отправки сообщения кнопку «↖️ Вернуться».
8. Активировать опцию "✅ Зациклить видео",  если хотите создать видео с бесконечной (зацикленной) анимацией.
9. Нажать кнопку "Prompt" > "♻️ Изменить".
10. Запустить процесс генерации, нажав кнопку «🎞️ Анимировать изображение».
    Процесс анимации займет всего несколько минут, в результате чего получится 6-секундное видео.

 

 

Способ написания запросов (промтов) №1: краткие инструкции

Опишите объект в кадре, его действия и движения. Нейронная сеть Luma заполнит любые детали анимации, которые вы упустите.

Например:
девушка идет по улице
Дополнительно в Yes Ai Bot можно писать промпты на любом языке, включая русский.

Способ написания запросов (промтов) №2: подробные рекомендации, изображение предметов, стиль и дополнительная специфика

Обеспечьте детальное описание элементов сцены, включая их действия и движения персонажей. Укажите, следует ли им заниматься такими видами деятельности, как танцы и т. д. Детализируйте динамику камеры: увеличение и уменьшение масштаба, панорамирование влево/вправо/вверх/вниз и т.д. Продумайте обстановку, освещение и другие нюансы.

Пример:
Молодая женщина в лазурном платье прогуливается по проспекту, устремив взгляд вперед. Порыв ветра подхватывает ее лазурный шарф, отбрасывая его в сторону. Ярко светит солнце, и камера постепенно отодвигается назад, фиксируя отражения света отражающиеся от окон здания.

Обратите внимание, что при выборе подробного описания для анимации необходимо тщательно описывать предметы, людей, окружение и другую специфику. Нейронная сеть Luma не будет пытаться изменить вашу анимацию. Важно детализировать не только то, что появляется в кадре, но и то, как эти элементы должны действовать или взаимодействовать друг с другом (например, ходить, прыгать, танцевать, летать и т. д.).

В большинстве случаев добиться качественного результата удается не с первой попытки. Вам понадобится опыт в составлении промптов и выборе правильных исходных изображений. Исходное изображение играет решающую роль; лучше всего выбирать такие, на которых хорошо видны предметы, люди и другие элементы. Размытые или искаженные изображения обычно приводят к созданию анимации с многочисленными ошибками.

---

2. Анимация на основе исходного изображения и финального кадра

Этот подход довольно прост, но качество анимации во многом зависит от согласованности предоставляемых изображений. Например, если первое изображение — это кадр из «Матрицы», где Нео уклоняется от пуль, а последнее — «Мона Лиза» Леонардо да Винчи, то полученная анимация вряд ли будет качественной. Это объясняется тем, что эти два кадра имеют очень мало общего с точки зрения содержания.

Вы добьетесь более стабильных результатов, если в начальном и в последнем кадре будет изображен один и тот же персонаж (или похожие персонажи), но с разных ракурсов или в разных позах. Простое правило: чем более согласованными являются исходные кадры, тем более последовательными будут ваши результаты.

Инструкция по созданию анимации в Luma с использованием двух картинок включает алгоритм действий:

1. Открыть @yes_ai_bot
2. Нажать в нижнем меню на "нейросеть: [изменить]" и выбрать в новом сообщении «Yes Video».
3. Загрузить изображение, которое хотите использовать в качестве первого кадра анимации.
4. Нажать в появившемся меню кнопку «Финальный кадр» и выбрать «📥 Загрузить», чтобы загрузить второе изображение.
5. Отправить боту последний кадр анимации в виде картинки.
6. Отправив последний кадр анимации, нажать кнопку «↖️ Вернуться назад» и начать генерировать.

 

Внимание! Убедитесь, что первый и последний кадры различаются. Загрузите отдельные изображения для этих рамок; в противном случае видео будет содержать статичное изображение.

Предлагаем поэкспериментировать с различными стилями изображения, такими как реализм и аниме. Не забудьте поделиться своими достижениями в специальной теме Luma на нашем форуме Telegram.

---

3. Анимация изображения с использованием начального и конечного кадра

Этот метод объединяет первые два подхода, позволяя при отправке задачи указать как начальный, так и конечный кадр. Это сделает анимацию более предсказуемой.

Никаких дополнительных объяснений не требуется. Просто следуйте инструкциям из первых двух пунктов.

Однако стоит отметить, что любую анимацию, созданную в Luma, можно расширить, добавив новые элементы или продолжив сюжет.

Для продления видео, созданного в Luma, существует определённый порядок действий:

1. Дождаться результата генерации ранее отправленной задачи.
2. Нажать в меню под видео кнопку «⏩️ Продлить видео», затем выбрать «⏩️ Продолжить видео».
3. Система предложит ввести текстовое описание того, что должно произойти в следующие 5 секунд видео. Написать в личку, следуя данной инструкции, и отправить боту.
4. Дождаться результата генерации.

У вас есть возможность продлить видеоряд несколько раз. Каждый раз, когда вы повторяете этот процесс, видео получает дополнительные пять секунд анимации. Можно использовать разные анимации для каждого сегмента.

Если вас не устраивает анимация нового сегмента, можно вернуться к предыдущему шагу и еще раз продлить видео, используя более подходящую подсказку.

---

4. Как управлять движением камеры в Luma 1.6

🚩 [Обновление от 4 сентября 2024 г.]

Нейронная сеть Luma Dream Machine обновлена до версии 1.6, в которой появилась возможность вращать камеру во время анимации изображений. Для использования этой функции добавьте в свой запрос (промт) команду, определяющую желаемую технику движения камеры.

Команды, доступные для управления камерой в Dream Machine Luma:

• camera move left (перемещает камеру влево);

• camera move right (перемещает камеру вправо);

• camera move up (перемещает камеру вверх);

• camera move down (перемещает камеру вниз);

• camera push in (приближение камеры к объекту);

• camera pull out (уменьшение масштаба путем удаления камеры от объекта);

• camera pan left (поворачивает камеру влево вокруг своей оси);

• camera pan right (поворачивает камеру вправо вокруг своей оси);

• camera orbit left (камера вращается вокруг объекта слева);

• camera orbit right (камера вращается вокруг объекта справа);

• camera crane up (поднимает камеру вверх вокруг объекта съемки);

• camera crane down (опускает камеру вниз вокруг объекта съемки).

Вы можете использовать все эти команды с помощью @yes_ai_bot Просто включите любой из методов движения камеры в свое текстовое описание при отправке нового запроса на анимацию в Luma.
 

Подводим итоги:

Нейронная сеть Luma представляет собой значительный шаг вперед по сравнению со Stable Video Diffusion и имеет ряд преимуществ:

• предлагает более широкий набор функций;
• даёт возможность ввода текстовых описаний и указания конечных или промежуточных кадров;
• более надежно «поддерживает» контекст исходных изображений, сохраняя внешний вид персонажей и деталей.

Но нейронная сеть Luma имеет и некоторые недостатки:

• может проигнорировать ваш запрос, если не поймет, как интегрировать его в изображение;
• лица людей могут меняться во время анимации;
• движения, особенно ходьба, не всегда могут казаться убедительными.

Однако важно понимать, что нейронные сети быстро развиваются, и в ближайшем будущем такие инструменты, как Luma, могут стать значительно более продвинутыми.

Yes Ai предоставляет доступ к API для нейросети Luma - вы можете открыть функции оживления картинок своим клиентам - Открыть документацию

Даже сегодня с помощью нейронных сетей можно добиться довольно качественной анимации изображений, особенно если использовать дополнительные инструменты постобработки.

Приведем пример постобработки:

 

Резюме
Статья посвящена нейросети Luma, которая может оживлять фото по промту.

В тексте подробно описаны три способа анимации с помощью Luma:

1. Анимация на основе фото и текста (промта): пользователь отправляет боту фотографию и текст с описанием желаемой анимации.
2. Анимация на основе исходного изображения и финального кадра: пользователь загружает два изображения - начальный и конечный кадры - и Luma генерирует анимацию между ними.
3. Анимация с указанием начального и конечного кадров: комбинация двух предыдущих методов, где пользователь указывает как начальный, так и конечный кадр для более предсказуемой анимации.

Еще раз подчеркнем, что Luma не допускает анимацию контента для взрослых, сцен насилия и оскорбительного материала.

Кроме того, авторы статьи дают советы по составлению промтов для лучшей анимации: краткие инструкции или подробные рекомендации с описанием деталей сцены, движения персонажей, камеры и т.д. Важно также выбирать качественные исходные изображения для получения более точной анимации.

В статье отмечается, что Luma превосходит Stable Video Diffusion по функциональности и надежности, но все же имеет некоторые недостатки, такие как игнорирование запроса или изменение лиц людей во время анимации.

[Yes_Ai]

Суть текста: Статья посвящена нейросети Luma, которая может оживлять фото по промту. В тексте подробно описаны три способа анимации с помощью Luma:

1. **Анимация на основе фото и текста (промта):** пользователь отправляет боту фотографию и текст с описанием желаемой анимации.
2. **Анимация на основе исходного изображения и финального кадра:** пользователь загружает два изображения - начальный и конечный кадры - и Luma генерирует анимацию между ними.
3. **Анимация с указанием начального и конечного кадров:** комбинация двух предыдущих методов, где пользователь указывает как начальный, так и конечный кадр для более предсказуемой анимации.

В статье также говорится о том, что Luma не допускает анимацию контента для взрослых, сцен насилия и оскорбительного материала.

Кроме того, авторы статьи дают советы по составлению промтов для лучшей анимации: краткие инструкции или подробные рекомендации с описанием деталей сцены, движения персонажей, камеры и т.д. Важно также выбирать качественные исходные изображения для получения более точной анимации.

В статье отмечается, что Luma превосходит Stable Video Diffusion по функциональности и надежности, но все же имеет некоторые недостатки, такие как игнорирование запроса или изменение лиц людей во время анимации.

[kolaytor]

Да. Запросы довольно таки часто игнорит :) !  Я долго бился ,а потом плюнул , над тем что бы дать правильный промт для остановки камеры и зума т.е. мне было нужно что бы камера не двигалась и зум был постоянным .  Так и не смог её победить . Чем больше описываешь поведение камеры  тем больше игнорит.

[admin]

В 13.07.2024 в 18:37, kolaytor сказал:

Да. Запросы довольно таки часто игнорит :) !  Я долго бился ,а потом плюнул , над тем что бы дать правильный промт для остановки камеры и зума т.е. мне было нужно что бы камера не двигалась и зум был постоянным .  Так и не смог её победить . Чем больше описываешь поведение камеры  тем больше игнорит.

А пробовали в Kling Ai 1.5 это делать ? Если что, вот тут описание

[Sky777region]

Уже не знаю какой еще промт составить этой тупой нейронке . «Лошадь встает на дыбы» , лошадь встает на задние ноги, делает свечку, пезада и ид, и НИХ УЯ!!! И другие такие же, А деньги х@й тебе вернут 

[admin]

38 минут назад, Sky777region сказал:

Уже не знаю какой еще промт составить этой тупой нейронке . «Лошадь встает на дыбы» , лошадь встает на задние ноги, делает свечку, пезада и ид, и НИХ УЯ!!! И другие такие же, А деньги х@й тебе вернут 

Все очень просто - нейросети пока умеют не все, технология еще на этапе активного развития. И это не причина для использования нецензурной лексики!

 

В плане понимания промтов тот же Kling справляется чуть лучше, ознакомьтесь с описанием тут: https://forum.yesai.su/topic/499-obzor-neyroseti-kling-15-versii-kak-sdelat-animaciyu-iz-sgenerirovannogo-izobrazheniya/