qwen Нейросеть Qwen Images для генерации и обработки картинок

[admin]

Нейросеть Qwen Images от разработчиков из Китая, хоть и можно условно назвать логическим продолжением Flux.1, ведь уровень качества их генераций очень близок, но в некоторых аспектах Qwen на голову выше оппонента. Нейросеть Qwen справляется с множеством задач, но основной "фишкой" можно без сомнений считать широкие возможности обработки изображений, а не простые генерации по промтам.

Объясним суть проблем, которые способна решить нейросеть Qwen.

Обработка изображений

Проблема большинства пропиетарных нейросетей (Midjourney, Sora Images и пр.), предоставляющих возможность обрабатывать ваши изображения, заключается в том, что в них используются через чур жесткие NSFW-фильтры (not safe for work), которые часто ограничивают генерации, которые НЕ содержат ничего запрещенного. А Квен может быть установлен на собственных серверах, поэтому фильтрация контента будет работать более адекватно.

Да, базовые версии Qwen не генерируют NSFW, так как не обучены для этих целей, но за мелкие нарушения вы хотя бы не получите бан. Если будет замечено подозрение на "запрещенку", то генерация будет выполнена в "дистиллированном" виде (без NSFW).

---

А теперь перейдем к самой важной части — к функциям обработки картинок.

Вы можете загрузить в Qwen собственные изображения с целью переработки и стилизации, вот некоторые опции:

• Замена одежды на персонаже или иные модификации окружения с сохранением черт лица оригинала (нейросети Midjourney и Sora Images молча завидуют Квену =) )
• [скоро] Объединение нескольких изображений (аналогично тому, как это работает в Sora Images).
• [скоро] Замена одежды на человеке по фотографии человека и элементов одежды.
• [скоро] Поддержка карты глубины (depth map) (из Control.Net) для получения более предсказуемых результатов.
• [скоро] Поддержка шаблонов Open Pose для управления позами персонажей (из Control.Net).
• Замена стиля на тот, который описан в промте, например, из собственной фотографии можно создать аниме аватар.
• Реставрация старых фото в один клик.
• [beta] Дорисовка областей слева, справа, внизу, вверху, вокруг (Outpaint), пока работает не для всех картинок, но это решаемо. Расскажем об этом в отдельной статье.
• Колоризация черно-белых фото (сделать фотографии цветными).
• Реставрация фото без изменения образов персонажей.
• Преобразование объектов в 3D-модели.
• [beta] Экстракция одежды для маркетплейсов (работает не очень стабильно). Можно с фотографии вытащить одежду.
• Удаление водяных знаков.
• Удаление фона (замена фона на белый).
• Свободная модификация картинок с использованием произвольного промта.

...это далеко не все. Полный список возможностей почти безграничен, ведь вы сами можете описать, что именно нужно сделать с фотографиями.

---

Неплохой список достоинств, не правда ли ?

Это не все, вот еще пара важных моментов...

• Лица людей при модификации референсов не изменяются (остаются оригинальными), если иное не указано в промте.
• Умеет писать текст на английском и китайском, причем, не просто текст, а слова и фразы, разделенные на фрагменты. Например, можно сделать обложку журнала, где будет четко выделен заголовок, название и дополнительные блоки текста.
• Квен поддерживает LoRA (Low-Rank Adaptation), вы можете расширять базу знаний Qwen за счет обученных моделей, которые можно установить, например, с сайта civitai.com в Yes Ai Bot (в мессенджере Телеграм).

---

Недостатки нейросети Qwen Images

Qwen — не волшебная палочка, а нейросеть, способности которой не безграничны.

Перечислим некоторые сложности, с которыми вы можете столкнуться:

• При дорисовке (Outpaint) добавляемые области могут не всегда соответствовать референсу, но эта проблема часто решается повторными попытками или пост-модификациями
• Достаточно высокая нагрузка на железо, без дорогостоящего оборудования практически не обойтись (либо придется долго ждать генераций). Рекомендуем видеокарты не ниже NVIDIA 3090, в идеале 4090 или 5090, так что придется выложить из кармана лишние (или не лишние?) несколько тысяч долларов. Жалко денег? Тогда не придется покупать собственное железо, все функции Qwen доступны в Telegram-боте @yes_ai_bot
• При работе с референсами иногда может происходить неожиданная замена элементов, например, фона, хотя в промте об этом не упоминалось
• Не самая богатая база знаний терминов, словарный запас заметно ниже, чем у той же Sora Images
• Не поддерживаются никакие языки кроме английского и китайского

---

Как сгенерировать картинки в Qwen Images

Разберем процесс на примере Yes Ai Bot, в котором доступна эта нейросеть.

• Перейдите по ссылке в Телеграм-бота @yes_ai_bot
• Сделайте настройки, если необходимо: можно выбрать модель (чекпойнт), количество шагов сэмплинга (почти всегда достаточно 20), размер генераций (в пикселях) и количество генераций для каждого запроса.

• Выберите стиль из галереи, если лень самостоятельно придумывать сложные промты.

• Отправьте промт на любом языке (сервис Yes Ai автоматически переведет его на английский).

 

Настройки для нейросети Qwen Images:

• модель (чекпойнт): определяет базовую стилистику изображения, чекпойнты обучены на разных дата-сетах, что позволяет им делать совершенно уникальные генерации. Например, можно выбрать чекпойнт, который больше "заточен" под генерации в стиле реализм, если требуется повышенная фотореалистичность;
• количество шагов сэмплинга: чем их больше, тем большее количество раз нейросеть будет "додумывать" содержимое генераций, но тем больше будет стоимость и время ожидания. В 99% случаев будет достаточно 20 шагов;
• размер генераций: вы можете выбрать формат 1:1 / 2:3 / 3:2 / 9:16 / 16:9, причем доступны различные размеры (в настройках они указаны в пикселях);
• количество генераций: если выбрана 1 копия, то на каждый отправленный промт будет создаваться только 1 картинка, если выбрано 2 копии, то будет два уникальных результата и т.д.

Если вам нужны примеры промтов для генераций, рекомендуем открыть бесплатную галерею на нашем форуме.

---

Как генерировать изображение в Qwen Images с использованием моделей LoRA

Если коротко, то нужно делать все то же самое, что описано предыдущей 👆 инструкции, но к тексту промтов требуется добавлять ключ с номером заранее установленной модели LoRA и весовым коэффициентом.

Пример промта с использованием Qwen LoRA:

панда кушает лапшу из миски <lora:1938784:1.1> pixel art in 2dhd octopath traveler style

...где <lora:1938784:1.1> — это ключ активации модели LoRA:

• "1938784" - номер модели с сайта civitai.com
• "1.1" - это весовой коэффициент, обычно он варьируется в диапазоне от 0.7 до 1.5 (зависит от того, как была обучена выбранная модель Лоры)
• "pixel art in 2dhd octopath traveler style" - триггерные слова для активации модели

А теперь разберемся, где брать номер LoRA для ключей формата <lora:1938784:1>

Во-первых в Yes Ai Bot есть галерея моделей Лора, которые ранее были установлены другими пользователями. Вы можете копировать ключи моделей прямо оттуда, но не забывайте вставлять в промт и триггерные слова, если они присутствуют в карточке описания.

---

Как установить модель Qwen LoRA с сайта Civitai в галерею Yes Ai

Если вам не хватает выбора моделей из галереи Yes Ai, добавьте то, что найдете на сайте Civitai (это большая библиотека моделей, обученных энтузиастами со всего мира).

Для начала вам нужно определиться, какую модель планируете использовать для генераций, сделать это можно на сайте Civitai по ссылке: https://civitai.com/models.

⚠️ В фильтрах выберите два пункта: "LoRA" и "Qwen".

В появившемся списке выберите понравившуюся модель, отвечающую вашей идее по стилистике или функциям (читайте описания моделей, в них авторы пишут, что именно делает та или иная Лора). Перейдите в карточку модели и скопируйте ссылку из строки браузера, например: https://civitai.com/models/1938784/2dhd-pixel-art-octopath-style

Скопированную ссылку нужно отправить боту Yes Ai в Телеграм, система все проверит и добавит модель в галерею в течение 5-15 минут. Обратите внимание, что для Qwen можно устанавливать только те модели, у которых стоит пометка "Base model: Qwen". А когда будете отправлять ссылку боту, убедитесь, что в нижнем меню выбрана именно нейросеть Qwen: надпись на кнопке "Нейросеть: Qwen Images [изменить]".

Когда Лора будет успешно добавлена в систему, вы можете отправлять промты, содержащие соответствующий ключ, в нашем примере он будет выглядеть так:
<lora:1938784:1>, где 1938784 — это номер модели (его можно увидеть в ссылке, которую вы скопировали с сайта Civitai.

Тут явно чего-то не хватает!
Не хватает триггерных слов, ведь они были предусмотрены автором этой модели (речь про "671809").

Триггерные слова — это текст, который требуется отправлять вместе с вашим промтом, чтобы LoRA работала именно так, как задумал автор.

Для рассматриваемой модели действительно предусмотрена триггерная фраза:

pixel art in 2dhd octopath traveler style

 

Теперь собираем все по частям, нам нужен промт, который создаст картинку с пандой...

панда кушает лапшу из миски <lora:1938784:1> pixel art in 2dhd octopath traveler style

 

Может возникнуть логичный вопрос "А ничего, что часть промта написана на русском языке, а триггерные слова на английском?".
Отвечаем: Не беспокойтесь об этом, система Yes Ai автоматически все отрегулирует и сделает правильную генерацию, так что можно миксовать два языка в одном запросе. Если вы используете Qwen на своем компьютере, то необходимо весь промт вводить на английском языке.

 

Как выбирать весовой коэффициент для Лоры и на что он влияет?

Весовой коэффициент для LoRA определяет силу ее воздействия на создаваемую генерацию, чем он выше, тем сильнее модель проявит свои признаки.

В командах для Yes Ai Bot весовой коэффициент указывается после номера модели, например: <lora:1938784:1.2>
...здесь число "1.2" — это весовой коэффициент, влияющий на силу модели с номером 1938784.

Как уже было отмечено ранее, весовой коэффициент обычно варьируется в диапазоне от 0.7 до 1.5, но тут нет строгих правил, т.к. некоторые авторы при обучении LoRA могут использовать иные значения. По этой причине следует обратить внимание на две вещи:

• описание модели в карточке на сайте Civitai - иногда авторы указывают диапазоны изменения весовых коэффициентов;
• примеры генераций, сделанных автором (они также видны в  карточках моделей). В описании картинок есть промты, а в промтах иногда указан вес моделей Лора.

Если в карточке модели ничего полезного не нашли, то смело ставьте вес равный единице и тестируйте, тестируйте, тестируйте... ведь качественный результат вы, так или иначе, получите не сразу, а лишь спустя какое-то количество итераций (повторений). Если вес, равный единице не дал ожидаемых результатов, увеличьте или уменьшите его, в зависимости от полученных ранее генераций.
...НЕ мечтайте, что все начнет получаться с первых попыток, нейросети так не работают.

---

Хотите упростить себе жизнь и получить проверенные промты? Тогда можно направиться в галерею на нашем форуме, там размещено множество примеров настроек и промтов для нейросети Qwen Images.

Будем считать, что вопрос с простыми генерациями по промтам и с моделями LoRA мы разобрали, но, если у вас остались вопросы, задайте их в Телеграм: https://t.me/yes_ai_talk

---

Следующая важная статья — использование функций нейросети Qwen Images, в которой мы разберем полезные штуки вроде удаления фона, стилизации и работы с референсами.
Настоятельно рекомендуем к ознакомлению: https://forum.yesai.su/topic/3056-neyroset-qwen-obrabotka-izobrazheniy-stilizaciya-udalenie-fona-restavraciya/