Cos'è Stable Diffusion, come installarlo e utilizzarlo

immagini generate con diffusione stabile

Questa è una guida per imparare a conoscere la diffusione stabile e imparare a utilizzare questo strumento.

L'immagine sopra è generata con Stable Diffusion. È stata generata dal seguente testo (richiesta)

Skyline della città con grattacieli, di Stanislav Sidorov, arte digitale, ultra realistico, ultra dettagliato, fotorealistico, 4k, concept del personaggio, luce soffusa, blade runner, futuristico

Stable Diffusion è un modello di apprendimento automatico testo-immagine. Un modello di apprendimento profondo, basato sull'intelligenza artificiale, che ci permette di generare immagini a partire da un testo che inseriamo come input.

Non è il primo modello o il primo strumento di questo tipo, al momento si parla molto di Dall-e 2, MidJourney, Google Image, ma è il più importante per ciò che rappresenta. Stable Diffusion è un progetto Open Source, quindi chiunque può utilizzarlo e modificarlo. Nella versione 1.4 abbiamo un file .cpxt da 4 GB da cui proviene l'intero modello pre-addestrato, e questa è una vera rivoluzione.

Tanto che in sole 2 o 3 settimane dal suo rilascio, troviamo plugin per Photoshop, GIMP, Krita, WordPress, Blender, ecc. Praticamente ogni strumento che include immagini implementa Stable Diffusion, tanto che persino concorrenti come Midjourney lo stanno utilizzando per migliorare i propri strumenti. Ma non viene utilizzato solo per generare strumenti: noi, come utenti, possiamo installarlo sul nostro PC ed eseguirlo per ottenere le immagini localmente.

Perché essere Open Source non significa che sia meno potente dei precedenti. È una vera meraviglia. Per me, al momento, è lo strumento migliore che possiamo usare se vogliamo generare immagini per qualsiasi progetto.

Modalità di installazione e utilizzo di Stable Diffusion

Esistono diversi modi per utilizzarlo. Al momento ne consiglio due. Se il tuo computer ha la potenza necessaria, ovvero una scheda grafica con circa 8 GB di RAM, allora installala sul tuo computer. Se il tuo hardware non è abbastanza potente, usa Google Collab; al momento consiglio quello di Altryne, perché ha un'interfaccia grafica ed è più facile da usare.

passo passo al dettaglio.

Colab di Altrine

Questa è l'opzione che consiglio se il tuo computer non è abbastanza potente (GPU con 8Gb di RAM) o se vuoi provarlo con tutte le sue funzionalità senza dover installare nulla.

GUARDA ANCHE  GLM 5.2 AI Coding: Il modello Open-Weight ridefinisce lo sviluppo degli agenti

Lo consiglio perché ha un'interfaccia grafica molto comoda con molte opzioni per controllare le immagini e altri strumenti di modellazione come l'immagine su immagine e l'upscaling.

Utilizziamo Google Colab, creato da Altryne , e Google Drive per salvare il modello e i risultati.

È tutto gratuito . Vi lascio un video che mostra l'intero procedimento, che come vedrete è molto semplice.

Installa su PC

Per installarlo da PC puoi seguire le istruzioni fornite su GitHub, https://github.com/CompVis/stable-diffusion oppure nella versione con interfaccia grafica che preferisco di gran lunga https://github.com/AUTOMATIC1111/stable-diffusion-webui e su Windows e Linux puoi usare questo eseguibile per installarlo Stable Diffusion UI v2

Sai già che ti serve una GPU potente con almeno 8 GB di RAM per funzionare senza problemi. Puoi farle usare la CPU, ma è molto più lento e dipenderà anche dal processore che hai. Quindi, se la tua attrezzatura è vecchia, dovrai rassegnarti a usare Colab o un metodo di pagamento per usare Stable Diffusion.

Il vantaggio di averlo sul PC è che è molto più veloce da usare, non devi installare o configurare nulla, basta farlo una volta e da quel momento in poi tutto è molto più veloce.

Inoltre, un altro motivo per cui mi piace molto è perché posso integrarlo in altri script e sfruttare le immagini generate inserendole direttamente nel flusso di lavoro delle attività, il che è un punto molto importante.

Diffusori Collaboratori Ufficiali

È molto simile al Colab che ho consigliato sopra, funziona quasi allo stesso modo, NON devi caricare il modello, ma non ha un'interfaccia grafica e per modificare qualsiasi opzione devi cambiare le opzioni dei blocchi di codice e modificarli per adattarli a ciò di cui abbiamo bisogno.

Inoltre, non possiamo utilizzare l'opzione immagine su immagine, che è molto attraente.

È possibile accedere da questo link: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

Abbiamo un filtro per le immagini per adulti, il famoso NSFW, ma è possibile disattivarlo utilizzando questo codice, ovvero creando una cella nel documento con

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

Devi metterlo subito dopo la cella

pipe = pipe.to("cuda")

ed eseguirlo

Colab Stable Diffusion Infinity

In questo Colab possiamo utilizzare lo strumento Infinity, che ci permette di completare le immagini e creare contenuti a partire da quelle esistenti. Un vero e proprio pass.

GUARDA ANCHE  Google Cola

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreamboth con diffusione stabile

Si tratta dell'implementazione di Dreamboth di Google con Stable Diffusion che consente, a partire da poche immagini di una persona, di ottenere risultati personalizzati con il volto che la demo.

Un modo fantastico per personalizzare le immagini

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

Altri Colab

Sai già come lavorare in Colab, bene, te ne lascio altri che sto trovando così puoi usare quello che ti piace di più. Se vuoi, puoi anche farne una copia e modificarla a tuo piacimento per avere la tua versione.

Dal suo sito ufficiale

Un modo semplice per utilizzarlo, come se si usasse Dall-e 2 in OpenAI, ma se si utilizza la piattaforma il servizio è a pagamento. https://stability.ai/

Da HuggingFace

Un'opzione interessante è quella di testarlo velocemente e scattare qualche foto, giusto per vedere come funziona, ma sono molte le opzioni che utilizzeremo se vogliamo fare sul serio.

https://huggingface.co/spaces/stabilityai/stable-diffusion

Utilizzando AWS o qualche servizio Cloud

Il modello di diffusione stabile può essere utilizzato eseguendolo su hardware nel cloud, un servizio classico è AWS di Amazon. Al momento sto testando con istanze EC2 per lavorare con diversi algoritmi. Vi spiegherò come funziona.

Altri servizi di pagamento

Ce ne sono molti e ne stanno emergendo sempre di più, dalle implementazioni nelle foto stock ai siti web che ci permettono di integrarci con le API. Al momento questo ha attirato la mia attenzione, anche se personalmente userò i servizi gratuiti.

Strumenti per un'ingegneria rapida

Il prompt di ingegneria è la parte che si riferisce alla generazione del prompt, ovvero la frase con cui diamo in pasto al modello affinché generi le nostre immagini. Non è un aspetto banale e bisogna saperlo usare molto bene per ottenere ottimi risultati.

Uno strumento molto utile per l'apprendimento è il lessico , dove possiamo vedere le immagini e il suggerimento che hanno utilizzato, il seme e la scala di guida.

Navigando scoprirai che tipo di elementi devi assegnare al prompt per ottenere il tipo di risultato che stai cercando.

Lascia un tuo commento