Что такое стабильная диффузия, как её установить и использовать?

изображения, полученные с помощью стабильной диффузии

Это руководство поможет вам изучить стабильную диффузию и научит, как использовать этот инструмент.

Изображение выше создано с помощью метода стабильной диффузии. Оно было сгенерировано на основе следующего текста (подсказки).

Городской пейзаж с небоскребами, работа Станислава Сидорова, цифровая графика, ультрареалистичный, ультрадетализированный, фотореалистичный, 4K, концепция персонажа, мягкий свет, «Бегущий по лезвию», футуристический

Stable Diffusion — это модель машинного обучения для преобразования текста в изображение. Это модель глубокого обучения в области искусственного интеллекта, которая позволяет генерировать изображения из текста, поданного на вход.

Это не первая модель и не первый инструмент такого рода, сейчас много говорят о Dall-e 2, MidJourney, Google Image, но это самая важная модель из-за того, что она собой представляет. Stable Diffusion — это проект с открытым исходным кодом, поэтому любой может использовать и модифицировать его. В версии 1.4 у нас есть файл .cpxt размером 4 ГБ, из которого берется вся предварительно обученная модель, и это настоящая революция.

Настолько, что всего за 2-3 недели после его выхода появились плагины для PhotoShop, GIMP, Krita, WordPress, Blender и т.д. — практически для каждого инструмента, работающего с изображениями, реализована технология Stable Diffusion, настолько, что даже конкуренты, такие как Midjourney, используют её для улучшения своих инструментов. Но она используется не только для создания инструментов, мы, как пользователи, можем установить её на свой компьютер и запустить для получения изображений локально.

Тот факт, что это программное обеспечение с открытым исходным кодом, вовсе не означает, что оно менее мощное, чем предыдущие версии. Это настоящее чудо. На мой взгляд, сейчас это лучший инструмент, который мы можем использовать для создания изображений для любого проекта.

Способы установки и использования системы стабильной диффузии

Есть несколько способов его использования. Сейчас я рекомендую два. Если ваш компьютер обладает необходимой мощностью, то есть видеокартой с примерно 8 ГБ оперативной памяти, то установите его на свой компьютер. Если же ваше оборудование недостаточно мощное, используйте Google Collab, сейчас я рекомендую Altryne, потому что он имеет графический интерфейс и проще в использовании.

шаг за шагом, подробно.

Колаба Альтрина

Этот вариант я рекомендую, если ваш компьютер недостаточно мощный (видеокарта с 8 ГБ оперативной памяти) или если вы хотите попробовать все его функции без необходимости установки чего-либо.

СМОТРИТЕ ТАКЖЕ  GLM 5.2 Кодирование ИИ: модель с открытыми весами, переосмысливающая разработку агентов.

Я рекомендую его, потому что у него очень удобный графический интерфейс с множеством опций для управления изображениями и другими инструментами моделирования, такими как преобразование изображений в изображения и масштабирование.

Для сохранения модели и результатов мы используем Google Colab, созданный Altryne , и Google Drive.

Всё это бесплатно . Я оставлю видео, демонстрирующее весь процесс, который, как вы увидите, очень прост.

Установить на ПК

Для установки с ПК вы можете следовать инструкциям на GitHub: https://github.com/CompVis/stable-diffusion или в версии с графическим интерфейсом, которая мне нравится гораздо больше: https://github.com/AUTOMATIC1111/stable-diffusion-webui. На Windows и Linux для установки можно использовать этот исполняемый файл: Stable Diffusion UI v2

Вы уже знаете, что для плавной работы требуется мощная видеокарта с минимум 8 ГБ оперативной памяти. Можно заставить её работать на процессоре, но это будет намного медленнее, и производительность также будет зависеть от вашего процессора. Поэтому, если ваше оборудование устарело, вам придётся смириться с использованием Colab или другого способа оплаты для использования Stable Diffusion.

Преимущества установки этой программы на ваш ПК заключаются в том, что она работает намного быстрее, вам не нужно ничего устанавливать или настраивать, достаточно сделать это один раз, и после этого все будет работать намного быстрее.

Кроме того, еще одна причина, по которой мне это очень нравится, заключается в том, что я могу интегрировать это в другие скрипты и использовать сгенерированные изображения, вставляя их непосредственно в рабочий процесс задач, что является очень важным моментом.

Официальные диффузоры для коллабораций

Он очень похож на Colab, который я рекомендовал выше, работает практически так же, вам НЕ нужно загружать модель, но у него нет графического интерфейса, и для изменения каких-либо параметров вам нужно изменить параметры блоков кода и адаптировать их под ваши нужды.

Кроме того, мы не можем использовать функцию преобразования изображения в изображение, которая была бы очень привлекательной.

Доступ к файлу можно получить по этой ссылке: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

У нас есть фильтр для изображений для взрослых, известный как NSFW, но вы можете отключить его, используя этот код, то есть создав ячейку в документе со следующим содержимым:

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

Его нужно разместить сразу после ячейки.

pipe = pipe.to("cuda")

и запустить его

Colab Стабильная диффузия Бесконечность

В этой версии Colab мы можем использовать инструмент Infinity, который позволяет дополнять изображения. Создавайте контент на основе существующих изображений. Настоящий проход.

СМОТРИТЕ ТАКЖЕ  Google Colab

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreamboth со стабильной диффузией

Это реализация технологии Google Dreamboth со стабильной диффузией, которая позволяет, используя всего несколько изображений человека, получать персонализированные результаты с учетом особенностей лица, демонстрируемого в демонстрационных роликах.

Удивительный способ персонализировать изображения.

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

Другие коллаборации

Вы уже умеете работать в Colab, так что я поделюсь с вами другими найденными мной вариантами, чтобы вы могли использовать тот, который вам больше всего нравится. Даже если хотите, вы можете сделать копию и изменить её по своему вкусу, чтобы создать свою собственную версию.

С его официального сайта

Простой способ использования, как если бы вы использовали Dall-e 2 в OpenAI, но если вы используете платформу, то услуга платная. https://stability.ai/

От HuggingFace

Интересный вариант для быстрого тестирования и фотографирования, просто чтобы посмотреть, как это работает, но есть много других вариантов, которые мы будем использовать, если серьезно займемся этим.

https://huggingface.co/spaces/stabilityai/stable-diffusion

Использование WS или другого облачного сервиса.

Модель стабильной диффузии можно использовать, запустив её на облачном оборудовании; классическим примером является Amazon AWS. Сейчас я тестирую её на экземплярах EC2, чтобы работать с различными алгоритмами. Я расскажу, как это работает.

Другие платежные сервисы

Таких сервисов много, и их становится все больше: от приложений для работы со стоковыми фотографиями до веб-сайтов, позволяющих интегрироваться с API. В данный момент это привлекло мое внимание, хотя лично я собираюсь пользоваться бесплатными сервисами.

Инструменты для оперативного проектирования

Инженерная подсказка — это часть, относящаяся к генерации подсказки, то есть фразы, которую мы передаем модели, чтобы она сгенерировала наши изображения. Это нетривиальная задача, и нужно очень хорошо уметь ее использовать, чтобы получить отличные результаты.

Очень полезным инструментом для изучения является лексикон , где мы видим изображения и использованные в них подсказки, начальное значение и шкалу рекомендаций.

Просматривая информацию, вы узнаете, какие элементы необходимо добавить в запрос, чтобы получить желаемый результат.

Оставьте комментарий