Jump to content

Учимся писать промты для stable diffusion


Recommended Posts

В этой статье мы подробно разберём как научиться писать промты для нейросети Stable Diffusion на разных моделях.

Приведу примеры промтов из личной коллекции, которые вы сможете использовать для своих генераций в разных моделях Stable Diffusion в онлайн сервисах или на своем компьютере.

Художники рисуют на бумаге кистью, дизайнеры рисуют стилусом на графическом планшете, а мы будем учиться рисовать словами в нейросети. Для начала разберем что такое промпт для Stable Diffusion. Prompt, промт или запрос для нейронной сети - это наша кисточка, наш стилус. И насколько умело вы можете пользоваться этим инструментом – от этого напрямую зависит качество вашего изображения сгенерированного в Stable Diffusion. Именно для того чтобы вы правильно могли пользоваться инструментами в нейросети, я написала эту статью.

Как научиться писать промты для Stable Diffusion

Промты есть как для чата GPT, так и для Stable Diffusion. Они разные. Текстовые запросы строятся по определенным правилам для каждой нейронной сети отдельно. Для DALLE, например, особых требований нет и тексты запросов можно писать так, словно вы обьясняете человеку что вам нужно нарисовать. Подобным образом составляются промты для Stable Diffusion XL. Но даже в DALLE и SDXL пользователь может столкнуться с тем что нейросеть изобразила не то, о чем думал человек. Не смотря на простоту построения фраз - запрос должен быть правильно построен и быть логичным. Чем подробнее ваш запрос, тем больше он будет соответствовать вашей идее. Все примеры генераций я буду приводить на основе бота в телеграм, где есть все перечисленные выше нейросети и различные модели для Stable Diffusion. Вы можете использовать в тех сетях, с которыми вы работаете, с той лишь разницей что какого то функционала может не быть.

Пример запроса: дедушка сидит в комнате. Нейросеть может вам нарисовать дедушку сидящего на полу. Лучше в запросе прописать: Дедушка сидит на стуле в комнате.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Или еще пример: Девушка сидит в комнате у стены, на улице идет дождь. За стеной дождя не увидеть. Лучше фразу в запросе прописать так: Девушка сидит на стуле у окна, за окном идет дождь.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Важно в запросе правильно указывать отношение предметов по отношению друг к другу. Избегайте в промптах для Stable Diffusion слова, которые нейросеть отобразить не сможет.

Например: Майский дождь. Дождь на любой картине это вода с неба. Если вам нужен именно весенний дождь то в запросе лучше указать: красивый пейзаж, весна, тепло, идет дождь. Для пейзажей лучше выбирать альбомный разворот.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Еще пример: Пожилая женщина с браслетом моей бабушки на руке. Описание браслета у вас в голове. Нейросеть мысли читать не умеет. Напишите такой запрос: Бабушка позирует в модном платье с гранатовым браслетом на руке в стиле ретро.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Чем подробнее вы хотите изобразить предмет, тем более подробно опишите его. Некоторые вещи нейросеть отобразить не может, но она может отобразить последствия некоторых действий. Например: сильный ветер, громкий звук, яркий свет. Мы в генерации увидим действие на окружающих предметах. Если вы еще ни разу не писали сами промпты для Stable Diffusion 1.5, то лучше использовать промты других людей с качественными генерациями и менять в них обьекты, описания предметов, добавлять интересные для вас детали. Так вам будет проще понять как правильно писать промпты для Stable Diffusion. Посмотрим действие стихии на генерации:

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Также можно использовать функцию +GPT. Возьмем короткий запрос: Белеет парус одинокий. Нейросеть доработает сама ваш промпт. На скриншоте видно как появился текст внизу моего запроса:

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Сгенерируем изображение по тому промпту, что предложил ChatGPT:

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Помня об особенностях что я пречислила выше, вы можете сами составлять промты для Stable Diffusion. Начинайте с простых, с одним обьектом. Отделяйте слова друг от друга запятыми.
Например: Девушка, солнечный летний день, озеро, голубое небо, облака. Где в запросе главным будет объект (то что прописано в начале промпта для нейросети имеет более высокий приоритет), и только после обозначения идет описание окружающей обстановки.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Затем добавляйте в свои промты более развернутые описания и детали. Можно использовать четверостишия.
(Конечно нейросеть в генерации ниже не смогла сгенерировать нам строки про далекую страну и родной дом).

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Tеперь давайте изобразим белый парусник в море, сильный ветер и чаек.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Как видно по картинке чаек на генерации нет. Если мы столкнулись с такой ситуацией - значит нужно поднять вес токена в промпте или нужный обьект переместить в начало промпта. Подробнее об этом расскажу чуть позже.

Добавим к изображению шторм:

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Теперь поставим чайку на первое место в запросе. И вот она на генерации:

webp

Как правильно писать промты для Stable Diffusion

Подведем итоги. Все слова и словосочетания нашего запроса перечисленные через запятую называются токенами. Токены внутри запроса влияют друг на друга. И мы видим как шторм, молнии и парусник взаимодействуют друг с другом на изображении. Чем ближе к началу запроса тем выше важность токена по сравнению с остальными и соответственно выше вероятность отображения токена на генерации. Именно поэтому на первое место ставятся обьекты являющиеся центром композиции на изображении, или какой то предмет который мы хотим выделить как главную деталь.

Когда хотим сгенерировать изображение точно по нашей идее, мы должны максимально точно сделать описание изображения, избегая двойственных трактовок. Исключить описание предмета по противополжным характеристикам: и длинный, и короткий одновременно. Чем больше мы описываем предмет, какие характеристики предмета, окружающая обставновка, более подробные детали - тем длиннее становится наш промпт. И в SD 1.5 для соответствия запросу нужно расставлять весовые коэфициенты для того чтобы повысить вероятность появления на изображении того или иного токена в нашем запросе. Для Телеграм ботов максимальное количество символов в запросе ограничено количеством символов допусиимых в одном сообщении.

Допустим, вы хотите сгенерировать изображение белого парусника, выполненного масляными красками на холсте в стиле Айвазовского. В этом случае чтобы нейросеть более точно произвела имитацию стиля художника – нужно отключить принудительные стили. Повышать важность токена можно двумя способами.

Например: Белеет парус одинокий на фоне моря голубом, (((в стиле Айвазовского))), так и Белеет парус одинокий на фоне моря голубом, (в стиле Айвазовского:1.3).0.1 веса и две скобки окружающие слова или слово (в стиле Айвазовского) это +10% к важности токена.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion
Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Старайтесь сразу не повышать на большое значение веса, чтобы избежать искажений на изображении. Я обычно начинаю с 1.3. И только если совсем уж длинный промпт, то иногда я использую вес до 1.5, поднимая вес практически каждого токена в запросе. Но это очень сложная задача – проставить вес токенов соблюдая равновесие, чтобы не деформировалось изображение. Есть способ гораздо проще. Использование простых запросов и лор с сайта Civitai.com, где также вы можете найти promt для Stable Diffusion. Про лоры сейчас останавливаться подробно не буду, это тема для отдельной статьи.

В промпте могут быть использованы и квадратные скобки. В запросе: Девушка, парк, [деревья:0.4] это не приказ для нейросети исключить отображение деревьев на генерации, а всего лишь просьба добавить отрисовку деревьев на 40%, после 60% отрисовки девушки с учетом текущего сэмплинга. 

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Чаще всего квадратные скобки используются для создания химер. Когда используете химеризацию старайтесь не использовать птиц и змей. Этот прием можно также использовать чтобы создать уникальные лица на базе SD. [Мона Лиза:Анжелина Джоли:0.3]. В данном примере нейросеть отрисует 30% Мона Лизы и 70% Анжелины Джоли.
[Mona Lisa:Angelina Jolie:0.3], in style Lara Croft, action pose, cgi, 1024K

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Для того чтобы исключить отображение обьекта или цвета мы пишем это в негативном промпте для Stable Diffusion, добавляя его после основного промпта через /np. Например: Парус одинокий на фоне моря голубом /np (((белый цвет))).
В негативном промпте также можно увеличить важность токена.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Нейросети могут очень хорошо имитировать не только стили художников или приемы рисования как мы видели это в примерах ранее, но и менять стилистику картинки в целом.
Давайте теперь посмотрим на промт с парусником в стиле оригами.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion
Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Стилей, как и моделей для Stable Diffusion множество. В генерациях которые я вам показывала есть настройки нейросети, которые были использованы при создании изображений. Покажу еще немного стилей:

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion
Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion
Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Расскажу немного о своих любимых моделях. SDXL Juggernaut - очень хорош для фотореалистичных генераций и DeepFace. Любимые мной аниме-модели VelaMix и DarkSushi. Чтобы изменить настройки и модели достаточно просто нажать на название в меню.

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

Промты для Stable Diffusion из моей большой коллекции

✏ Prompt: a pretty woman dressed in a black and bright red, (black swan feather dress), glowing red eyes, pretty woman, beautiful female vampire, beautiful female vampire, beautiful succubus, female vampire, vampire, beautiful vampire female queen, succubus | medieval, black swan outfit, badwoman, vampire queen, woman vampire, professional photo
🎭 Styles: No style
🧩 Model: VelaMix + H.F. 💎
🔧 Sampler: DPM++ 2M Karras

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

✏ Prompt: A terrifying Zombie, menacing pose, decaying green skin, glowing yellow eyes, patchy black hair, wild and messy hairstyle, emaciated body, torn and blood-stained clothing, post-apocalyptic wasteland setting, emerging from a dark corner, gritty and grunge style, dimly lit with flickering candles, high-resolution digital image, photorealistic rendering, by H.R. Giger, ultra-HD.
🎭 Styles: Random
🧩 Model: SDXL DeepBlue 💠
🔧 Sampler: UniPC

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

✏ Prompt: A rugged cowboy, riding pose, sun-kissed skin, blue eyes, sandy-brown hair, windswept hairstyle, muscular body, leather jacket, wild west setting, on top of a mountain, vintage style, golden hour lighting, watercolor format, impasto technique, by Leonardo da Vinci, high definition.
🎭 Styles: Random
🧩 Model: SDXL Juggernaut 💠
🔧 Sampler: DPM++ 2M Karras

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

✏ Prompt: Vampire child, head-on view, mischievous smile, translucent skin showing playful freckles, sky-blue eyes with a hint of malice, carrot-top hair messy and short, slight but spry figure, tattered street urchin clothes with hidden pockets, (abandoned amusement park:1.3), (swinging from an old carousel horse:1.1), (surrealist:1.4), (by Dalí and Caravaggio:1.2), 24K vibrant
🎭 Styles: No style
🧩 Model: SDXL Juggernaut 💠
🔧 Sampler: UniPC

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

✏ Prompt: Vampire huntress, three-quarter view, dynamic combat stance, bronzed skin slight glow, glowing amber eyes, platinum blonde hair in a battle braid, wiry and toned figure, leather battle attire with red accents, (rain-soaked alleyway:1.1), (crouched on a roof:1.3), (dark fantasy:1.5), (by Frazetta and Brom:1.4), 16K fine detail
🎭 Styles: No style
🧩 Model: SDXL Juggernaut 💠
🔧 Sampler: UniPC

Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

 
  • Like 2
  • Like 1
  • Thanks 2

image.png.709fa648fb16fab154ca5b930a46ce4d.pngimage.png.61b96eadecbfb2dfdeaa0ea1baa5f908.png

Link to comment
Share on other sites

  • Ardi pinned this topic
Краткое описание текста: Краткое описание статьи: статья посвящена написанию промптов (prompt) для нейросети Stable Diffusion, которая может генерировать изображения. Автор предлагает примеры промптов из своей личной коллекции и объясняет, как правильно писать промпты для различных моделей Stable Diffusion. Он также рассказывает о важности использования токенов (tokens) в промптах и о том, как можно изменять настройки нейросети для получения желаемых результатов. В статье приведены примеры генерации изображений с использованием различных стилистик и моделей. Автор также подчеркивает важность использования негативных промптов (negative prompts) для исключения определенных элементов или цветов на изображении.
Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...