
Ovo je jedan vodič za učenje o stabilnoj difuziji i podučavanje kako možete koristiti ovaj alat.
Gornja slika je generirana pomoću Stabilne difuzije. Generirana je iz sljedećeg teksta (prompta)
Gradska panorama s neboderima, autor Stanislav Sidorov, digitalna umjetnost, ultra realistično, ultra detaljno, fotorealistično, 4k, koncept lika, meko svjetlo, Blade Runner, futuristički
Stable Diffusion je model mašinskog učenja pretvaranja teksta u sliku. Model dubokog učenja vještačke inteligencije koji nam omogućava generiranje slika iz teksta koji unosimo kao ulaz ili izlaz.
Nije prvi model niti prvi alat ovog stila, trenutno se mnogo priča o Dall-e 2, MidJourney, Google Image, ali je najvažniji zbog onoga što predstavlja. Stable Diffusion je projekat otvorenog koda, tako da ga svako može koristiti i modificirati. U verziji 1.4 imamo 4G .cpxt datoteku odakle dolazi cijeli prethodno obučeni model, i ovo je prava revolucija.
Toliko da za samo 2 ili 3 sedmice od njegovog objavljivanja, pronalazimo dodatke za PhotoShop, GIMP, Kritu, WordPress, Blender itd. Gotovo svaki alat koji dolazi sa slikama implementira Stable Diffusion, toliko da ga čak i konkurenti poput Midjourneyja koriste za poboljšanje svojih alata. Ali ne koristi se samo za generiranje alata, već ga mi kao korisnici možemo instalirati na svoj računar i pokrenuti kako bismo lokalno dobili slike.
Jer, osim što je otvorenog koda, to ne znači da je manje moćan od prethodnih. To je pravo čudo. Za mene je trenutno to najbolji alat koji možemo koristiti ako želimo generirati slike za bilo koji projekat.
Načini instaliranja i korištenja stabilne difuzije
Postoje različiti načini korištenja. Trenutno preporučujem 2. Ako vaš računar ima potrebnu snagu, odnosno grafičku karticu sa oko 8 GB RAM-a, onda je instalirajte na svoj računar. Ako vaš hardver nije dovoljno snažan, koristite Google Collab, trenutno preporučujem Altryne, jer dolazi sa grafičkim interfejsom i lakši je za korištenje.
korak do detalja.
Colab iz Altrynea
Ovo je opcija koju preporučujem ako vaš računar nije dovoljno snažan (GPU sa 8 GB RAM-a) ili ako želite da ga isprobate sa svim njegovim funkcijama bez potrebe za instaliranjem ičega.
Preporučujem ga jer ima vrlo udoban grafički interfejs s mnogo opcija za kontrolu slika i drugih alata za modeliranje kao što su uvećavanje slike i povećanje skale.
Koristimo Google Colab koji je kreirao Altryne i Google Drive za spremanje modela i rezultata.
Sve je besplatno . Ostavljam video cijelog procesa koji je, kao što ćete vidjeti, vrlo jednostavan.
Instalirajte na računar
Da biste ga instalirali sa računara, možete slijediti upute date na njegovom GitHub-u, https://github.com/CompVis/stable-diffusion ili u verziji sa grafičkim interfejsom koja mi se mnogo više sviđa https://github.com/AUTOMATIC1111/stable-diffusion-webui , a na Windowsima i Linuxu možete koristiti ovu izvršnu datoteku za instalaciju Stable Diffusion UI v2.
Već znate da vam je potreban snažan GPU sa minimalno 8 GB RAM-a da bi nesmetano radio. Možete ga natjerati da "pull-cpu" procesor, ali to je mnogo sporije i zavisiće i od procesora koji imate. Dakle, ako vam je oprema stara, morat ćete se pomiriti sa korištenjem Colab-a ili neke druge metode plaćanja da biste koristili Stable Diffusion.
Prednost korištenja na računaru je što je mnogo brže za korištenje, ne morate ništa instalirati ili konfigurirati, dovoljno je da to uradite jednom, od tada je sve mnogo brže.
Također, još jedan razlog zašto mi se jako sviđa je taj što ga mogu integrirati u druge skripte i iskoristiti generirane slike umetanjem direktno u tijek rada zadataka, što je vrlo važna stvar.
Zvanični difuzori za saradnju
Vrlo je sličan Colabu koji sam gore preporučio, radi gotovo isto, NE morate postavljati model, ali nema grafički interfejs i da biste modificirali bilo koju opciju, morate promijeniti opcije blokova koda i modificirati ih kako biste ga prilagodili onome što nam je potrebno.
Osim toga, ne možemo koristiti opciju "slika na sliku", koja je vrlo atraktivna.
Možete pristupiti sa ove https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb
Imamo filter za slike za odrasle, poznati NSFW, ali ga možete deaktivirati pomoću ovog koda, odnosno kreiranjem ćelije u dokumentu sa
def dummy_checker(images, **kwargs): return images, False http://pipe.safety_checker = dummy_checker
Moraš ga staviti odmah nakon ćelije
pipe = pipe.to("cuda")
i pokrenite ga
Colab Stabilna difuzija Beskonačnost
U ovom Colab-u možemo koristiti alat Infinity, koji nam omogućava da dovršimo slike. Kreiramo sadržaj iz postojeće slike. Prava propusnica.
Dreamboth sa stabilnom difuzijom
Ovo je implementacija Googleovog Dreambotha sa stabilnom difuzijom koja omogućava, od nekoliko slika osobe, dobijanje personaliziranih rezultata s licem koje demonstracije pokazuju.
Nevjerovatan način za prilagođavanje slika
https://github.com/XavierXiao/Dreambooth-Stable-Diffusion
Drugi kolaborativni projekti
Već znaš kako raditi u Colabu, pa ću ti ostaviti ostale koje tražim da možeš koristiti onaj koji ti se najviše sviđa. Čak i ako želiš, možeš napraviti kopiju i izmijeniti je po svom ukusu da bi imao svoju verziju.
- https://colab.research.google.com/drive/1AfAmwLMd_Vx33O9IwY2TmO9wKZ8ABRRa
- https://colab.research.google.com/drive/1Iy-xW9t1-OQWhb0hNxueGij8phCyluOh#scrollTo=B977dVS6AZcL
- Stabilna difuzija za kompresiju slike s gubicima https://colab.research.google.com/drive/1Ci1VYHuFJK5eOX9TB0Mq4NsqkeDrMaaH?usp=sharing
- Implementacija sa kerasima https://colab.research.google.com/drive/1zVTa4mLeM_w44WaFwl7utTaa6JcaH1zK
Sa njegove službene web stranice
Jednostavan način korištenja, kao da koristite Dall-e 2 u OpenAI-u, ali ako koristite platformu, usluga se plaća. https://stability.ai/
Od HuggingFace-a
Zanimljiva opcija za brzo testiranje i slikanje, čisto da vidimo kako funkcioniše, ali postoji mnogo opcija koje ćemo koristiti ako ćemo se ozbiljno pozabaviti ovim.
Korištenje AWS-a ili neke usluge u oblaku
Model Stabilne difuzije može se koristiti pokretanjem na hardveru u oblaku, klasična usluga je Amazonov AWS. Trenutno testiram EC2 instance kako bih radio s različitim algoritmima. Reći ću vam kako je.
Druge usluge plaćanja
Ima ih mnogo i sve više ih se pojavljuje, od implementacija u fotografijama iz baze podataka do web stranica koje nam omogućavaju integraciju s API-jima. Trenutno mi je ovo privuklo pažnju, iako ću lično koristiti besplatne usluge.
Alati za brzi inženjering
Inženjerski prompt je dio koji se odnosi na generiranje prompta, odnosno fraze kojom hranimo model kako bi on generirao naše slike. To nije trivijalno pitanje i morate vrlo dobro znati kako ga koristiti da biste postigli odlične rezultate.
Vrlo koristan alat za učenje je leksikon , gdje vidimo slike i upute koje su koristile, početnu vrijednost i skalu smjernica.
Pregledavanjem ćete saznati koje vrste elemenata morate dodijeliti promptu da biste dobili željeni rezultat.