Stable Diffusion: как пользоваться одной из лучших нейросетей

1.

Stable Diffusion: как пользоваться
одной из лучших нейросетей
Выполнил:
студент гр. ИСТ-123
Д.З. Цицкишвили
Принял:
ст. преподаватель кафедры ИСПИ
О.Н. Шамышева
г. Владимир
2024

2.

Что такое Stable Diffusion
Stable Diffusion – это нейросеть, предназначенная для генерации
изображений по текстовому запросу. В основе генераций изображений
лежит алгоритм диффузии – постепенный процесс обработки шума.
Выпущена в 2022 году. В разработке участвовали компании CompVis,
Runway и Stability AI.
Несмотря на развитие версий SD, лучше всего ввиду качества генераций себя
зарекомендовали версии 1.4 и 1.5, вторая из которых часто используется для
тренировки более мелких моделей.

3.

Области применения
В производстве:
• Игр
• Кино
• Одежды
• Игрушек
Основные назначения:
• Создание уникального дизайна
• Поиск референсов
• Редактирование изображений

4.

Плюсы и минусы
Плюсы:
• Открытый исходный код
• Гибкость настроек
• Отсутствие ограничений на сюжет изображений
• Возможность продавать сгенерированные изображения
• Возможность редактировать фотографии
Минусы:
• Сложность использования
• «Сырые» результаты, на которых нужно несколько раз
редактировать артефакты повторной генерацией

5.

Конкуренция
Главным конкурентом Stable Diffusion можно считать Midjourney. Хотя эти нейросети
предназначены для одного и того же, у них есть несколько важных отличий.
Midjourney:
• Использование только по подписке
• Только онлайн доступ
• Множество
ограничений
на
сюжет
изображений
• Отличное качество здесь и сейчас,
новичкам не будет трудно
Stable Diffusion:
• Бесплатное использование
• Как онлайн, так и локально
• В локальной версии нет ограничений на
сюжет изображений
• Чтобы добиться хорошего результата,
нужно приложить определенные усилия

6.

Процесс генерации
Генерация изображения происходит постепенно. Смысл диффузии состоит в том, что из
случайного шума поэтапно формируется изображение, с каждым новым шагом все больше
похожее на введенный пользователем запрос.
Диффузия
(промежуточные результаты)
Финальный
результат

7.

Интерфейс

8.

Изменение деталей
+ “closed eyes”

9.

Исправление артефактов

10.

Изменение деталей на настоящем фото
+
“orange t-shirt”

11.

Генерация по образцу

12.

Изменение позы

13.

Эмбеддинги (Embeddings)
Особенности:
• Размер – считанные килобайты
• Единый токен, содержащий в себе целые промты
• Возможно использование в качестве негативного промта
Негативные эмбеддинги помогают избавиться от недочетов,
например, от размытого изображения, лишних конечностей,
кривых пальцев и так далее.

14.

Лоры (LoRA)
<lora:название:вес>
LoRA – Low-Rank Adaptation. Это небольшие модели, используемые вместе со
стандартными моделями.
Особенности:
• Размер – от нескольких Мб до нескольких сотен Мб
• «Библиотека», содержащая в себе какое-либо количество триггер-слов

15.

Генерация существующего персонажа
Промты
Негативные промты
masterpiece,
(<lora:Pochita:1>
pochita,
chainsaw, no humans, animal, dog, smile,
standing, looking in the camera, solo,
tongue:1.1), anime style, portrait, focused, anime
frame, cute, old city in the background, ultra
quality, simple style, 2d art, (anatomically
correct:1.2)
(worst quality, bad quality:1.3), extra chainsaw,
fluffy, fur, furry, wrong anatomy, extra limbs,
missing limbs, (clothes, humans:1.3), watermark,
text, jpeg artifacts, front view

16.

Генерация нескольких
существующих персонажей
+
+
*Описание общей композиции*
AND <lora:KaoruH-04:0.6> *описание персонажа слева*
AND <lora:NagisaRan-03:0.6> *описание персонажа справа*

17.

Спасибо за внимание!