Использование моделей LORA в нейросети FLUX

[Tatianaveter]

Многие из тех, кто уже попробовал сгенерировать изображения нейросетью FLUX, оценили её возможности и качество изображений. Теперь осталось дело за малым, научиться генерировать изображения с учётом недостатков нейросети FLUX. А для этого хорошим инструментом будет использование моделей LORA. FLUX LORA филигранно настраивает модели искусственного интеллекта для определённых стилей или предметов. Простыми словами, есть у нас форма для выпечки круглая, а мы хотим испечь кекс в форме сердечка - значит берём форму сердечка и запекаем в ней, вуаля. В статье расскажу, в каких случаях необходима LORA, где и как найти нужную модель LORA, как её использовать при генерации изображений нейросетью FLUX в телеграмм-боте.

Когда необходима модель LORA для генерации изображений нейросетью FLUX

В прошлой статье о нейросети FLUX я писала о некоторых плюсах и минусах. Будем корректировать недостатки моделями LORA.

• Начнём с двойной композиции. Из 10 сгенерированных изображений нейросетью FLUX получим только 2-3 с удавшейся двойной композицией. Будем лечить. Сгенерирую изображение в телеграмм-боте по следующему промту: 

a woman's face with double exposure and motion blur effects, (surreal portrait photo:1.4), (double exposure:1.2), (motion blur:1.2), (artistic:1.2), black and white, high contrast, intricate details, soft focus, ethereal lighting, abstract, evocative, layered images, dynamic, expressive, medium close-up, 50mm lens, f/1.8, dreamlike, introspective, experimental, <lora:715497:1>

слева изображения с добавляем LORA, справа – без неё.

• Сюрреализм. Напомню, что нейросеть FLUX обучали преимущественно на фотореалистичных изображениях, поэтому она совершенно не понимает, как сгенерировать платье, струящееся огненными языками пламени. А с  LORA всё отлично получается.

• Художественные стили. Нейросеть FLUX плохо понимает художественные направления и стили художников. Поправляется это дело коллекцией моделей LORA. Люблю китайское искусство и нашла LORA для создания рисунка в китайском стиле Уся.

• Специализированные сферы. С помощью моделей LoRA, обученных на основе специфических деталей получаются точные изображения в нужной области. Например, изображения антропоморфных персонажей или процесс вязания. Я нашла модель LoRA , которая изображает рисунки на латте. Для кого-то баловство, а кто-то возьмёт и кофейню откроет после таких генераций. Нижние картинки (слева с применением  LoRA, справа - без нее) генерировала по промту: 

latte mug with a kayak pattern on milk foam, decorated with chocolate chips, summer terrace, autumn leaves fly by, <lora:689675:1>, fluxlatte

• Улучшение фотореалистичности. Вроде бы куда уже реалистичнее, однако эти модели LoRA пригодятся для создания высокодетализированных и реалистичных изображений продуктов или архитектурных проектов.

• Киберпанк. Когда хочется повысить «градус» этого стиля, то почему бы не добавить LoRA.

• Генерация персонажей компьютерных игр. Использование LoRA поможет создать детализированные изображения конкретных персонажей. Например, те кто делает обзоры на игры, могут создавать обложки для своих статей и видео с использованием нужной модели LoRA.

Где найти модели LORA для нейросети FLUX

Модели LORA я ищу на сайте civitai.com либо на форуме Yes AI в галерее LORA. На сайте сивитай в строке поиска можно прописать, что именно ищете. Например, чтобы не листать все страницы в поисках модели LORA для двойной экспозиции, можно написать «flux double exposure».

На форуме Yes AI представлены все LORA, которые установлены в телеграмм-боте.

В телеграмм-боте, где я генерирую изображения нейросетью FLUX, уже установлены большинство необходимых для работы моделей LORA. Однако, если я на сайте civitai.com нашла LORA, которая мне нужна, но еще не установлена в боте, то просто копирую ссылку на неё, отправляю боту в телеграмм. Через пару минут установка пройдет, о чем бот оповестит, и можно использовать эту модель LORA в генерациях изображений нейросетью FLUX.

Генерация изображений нейросетью FLUX в телеграмм-боте с использованием моделей LORA

Чтобы сгенерировать изображение нейросетью FLUX с использованием моделей LORA – я захожу в телеграмм-бот. В боте интуитивно понятный интерфейс, что облегчает работу. Можете выбрать необходимые настройки и стили. А после этого пишите детальный промт и отправляете его боту. Писать промты можно и на русском языке.

Под сгенерированным изображением нейросетью FLUX есть набор инструментов, который вы можете использовать для дальнейшей работы. Чтобы скачать в качестве - нажмите кнопку "скачать файл HQ+", если есть недочеты, которые надо поправить, например убрать ложку с изображения, то можно это сделать с помощью кнопки "Inpaint". Хочется оживить и сделать анимацию? Тогда жмите "анимировать изображение", и пусть ваш каяк плывёт в пучине кофейной пены. Да, и будет здорово, если поделитесь своей генерацией на форуме, для этого есть кнопка "Репост на форум". За репост вам капнут баллы и на эти баллы можно генерировать в других нейронках, например, в Dalle и Stable Diffusion. И всегда под рукой есть кнопка "Повторить", после нажатия которой данный промт запустится в работу.

Творите, рисуйте, генерируйте, создавайте уникальный контент - нейросеть FLUX и модели LORA вам в помощь!

[Yes_Ai]

Описание ключевых аспектов статьи: Статья рассказывает о возможностях использования моделей LoRA для улучшения генерации изображений нейросетью FLUX.

Автор отмечает, что FLUX обладает некоторыми недостатками, например, не всегда удачно генерирует двойную композицию или изображения в сюрреалистическом стиле. Модели LoRA позволяют корректировать эти недостатки и повышать качество генерации.

В статье приводятся примеры использования LoRA для улучшения следующих аспектов:

* Двойная экспозиция
* Сюрреализм
* Художественные стили (например, китайский стиль Уся)
* Специализированные сферы (изображения латте-арта)
* Фотореалистичность
* Киберпанк
* Генерация персонажей компьютерных игр

Также автор объясняет, где найти модели LoRA (на сайте civitai.com и форуме Yes AI), как их использовать в телеграмм-боте FLUX и какие инструменты для дальнейшей работы доступны после генерации изображения.


В заключение автор призывает читателей использовать возможности нейросети FLUX и моделей LoRA для творчества и создания уникального контента.