Hva er stabil diffusjon, hvordan installeres og brukes det?

bilder generert med stabil diffusjon

Dette er en veiledning for å lære om stabil diffusjon og lære hvordan du kan bruke dette verktøyet.

Bildet ovenfor er generert med stabil diffusjon. Det er generert fra følgende tekst (ledetekst)

Bysilhuett med skyskrapere, av Stanislav Sidorov, digital kunst, ultrarealistisk, ultradetaljert, fotorealistisk, 4k, karakterkonsept, mykt lys, Blade Runner, futuristisk

Stable Diffusion er en maskinlæringsmodell for tekst-til-bilde. En dyp læringsmodell for kunstig intelligens som lar oss generere bilder fra tekst vi legger inn som input eller input.

Det er ikke den første modellen eller det første verktøyet i denne stilen. Akkurat nå er det mye snakk om Dall-e 2, MidJourney og Google Image, men det er det viktigste på grunn av hva det representerer. Stable Diffusion er et åpen kildekode-prosjekt, så alle kan bruke og modifisere det. I versjon 1.4 har vi en 4G .cpxt-fil der hele den forhåndstrente modellen kommer fra, og dette er en skikkelig revolusjon.

Så mye at bare 2 eller 3 uker etter lanseringen har vi funnet plugins for PhotoShop, GIMP, Krita, WordPress, Blender osv. Nesten alle verktøy som følger med bilder implementerer Stable Diffusion, så mye at selv konkurrenter som Midjourney bruker det til å forbedre verktøyene sine. Men det brukes ikke bare til å generere verktøy, men vi som brukere kan installere det på PC-en vår og kjøre det for å hente bildene lokalt.

Fordi det å være åpen kildekode ikke betyr at det er mindre kraftig enn de forrige. Det er et sant under. For meg er det akkurat nå det beste verktøyet vi kan bruke hvis vi vil generere bildene våre til et hvilket som helst prosjekt.

Måter å installere og bruke stabil diffusjon på

Det finnes forskjellige måter å bruke det på. Akkurat nå anbefaler jeg 2. Hvis datamaskinen din har den nødvendige kraften, det vil si et grafikkort med omtrent 8 GB RAM, så installer det på datamaskinen din. Hvis maskinvaren din ikke er kraftig nok, bruk et Google Collab. Akkurat nå anbefaler jeg Altryne-versjonen, fordi den har et grafisk grensesnitt og er enklere å bruke.

steg til detalj.

Samarbeid med Altryne

Dette er alternativet jeg anbefaler hvis datamaskinen din ikke er kraftig nok (GPU med 8 GB RAM), eller hvis du vil prøve den med alle funksjonene uten å måtte installere noe.

SE OGSÅ  GLM 5.2 AI-koding: Åpenvektsmodellen omdefinerer agentisk utvikling

Jeg anbefaler det fordi det har et veldig komfortabelt grafisk grensesnitt med mange alternativer for å kontrollere bildene og andre modellverktøy som bilde-til-bilde og oppskaling.

Vi bruker Google-samarbeidet laget av Altryne og Google Drive for å lagre modellen og resultatene.

Alt er gratis . Jeg legger igjen en video av hele prosessen som, som du vil se, er veldig enkel.

Installer på PC

For å installere det fra PC kan du følge instruksjonene på GitHub, https://github.com/CompVis/stable-diffusion eller i versjonen med grafisk grensesnitt som jeg liker mye bedre https://github.com/AUTOMATIC1111/stable-diffusion-webui , og på Windows og Linux kan du bruke denne kjørbare filen til å installere den Stable Diffusion UI v2.

Du vet allerede at du trenger en kraftig GPU med minimum 8 GB RAM for at den skal fungere problemfritt. Du kan få den til å trekke CPU, men den er mye tregere, og det vil også avhenge av prosessoren du har. Så hvis utstyret ditt er gammelt, må du finne deg i å bruke Colab eller en annen betalingsmåte for å bruke Stable Diffusion.

Fordelene med å ha det på PC-en er at det er mye raskere å bruke, du trenger ikke å installere eller konfigurere noe, det er nok å bare gjøre det én gang, fra da av går alt mye raskere.

En annen grunn til at jeg liker det så godt, er at jeg kan integrere det i andre skript og dra nytte av de genererte bildene ved å sette dem inn direkte i arbeidsflyten til oppgavene, noe som er et veldig viktig poeng.

Offisielle samarbeidsdiffusorer

Den er veldig lik Colab som jeg har anbefalt ovenfor, den kjører nesten likt, du trenger IKKE å laste opp modellen, men den har ikke et grafisk grensesnitt, og for å endre et hvilket som helst alternativ må du endre alternativene til kodeblokkene og modifisere dem for å justere det til det vi trenger.

I tillegg kan vi ikke bruke bilde-til-bilde-alternativet, noe som er veldig attraktivt.

Du kan få tilgang fra denne https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

Vi har et filter for bilder av voksne, det berømte NSFW, men du kan deaktivere det ved å bruke denne koden, det vil si å opprette en celle i dokumentet med

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

Du må sette det rett etter cellen

pipe = pipe.to("cuda")

og kjør den

Colab Stable Diffusion Infinity

I denne samarbeidsprosessen kan vi bruke Infinity-verktøyet, som lar oss fullføre bilder. Lag innhold fra det eksisterende bildet. En skikkelig bestått.

SE OGSÅ  Google Colab

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreamboth med stabil diffusjon

Dette er implementeringen av Googles Dreamboth med stabil diffusjon som lar deg, fra noen få bilder av en person, få personlige resultater med ansiktet som demonstrasjonene viser.

En fantastisk måte å tilpasse bilder på

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

Andre samarbeid

Du vet allerede hvordan du jobber i Colab, så jeg gir deg noen andre jeg finner, slik at du kan bruke den du liker best. Hvis du vil, kan du lage en kopi og endre den slik du vil ha din egen versjon.

Fra den offisielle nettsiden

En enkel måte å bruke den på, som om du bruker Dall-e 2 i OpenAI, men hvis du bruker plattformen er tjenesten betalt. https://stability.ai/

Fra HuggingFace

Et interessant alternativ for å teste det raskt og ta noen bilder, bare for å se hvordan det fungerer, men det er mange alternativer vi vil bruke hvis vi skal ta dette på alvor.

https://huggingface.co/spaces/stabilityai/stable-diffusion

Bruk av AWS eller en annen skytjeneste

Stable Diffusion-modellen kan brukes ved å kjøre den på maskinvare i skyen, en klassisk tjeneste er Amazons AWS. Akkurat nå tester jeg med EC2-instanser for å jobbe med forskjellige algoritmer. Jeg skal fortelle deg hvordan det er.

Andre betalingstjenester

Det finnes mange, og det dukker stadig opp flere, fra implementeringer i stockbilder til nettsteder som lar oss integrere med API-er. For øyeblikket har dette fanget oppmerksomheten min, selv om jeg personlig kommer til å bruke gratistjenestene.

Verktøy for rask prosjektering

Ingeniørprompten er den delen som refererer til genereringen av prompten, det vil si frasen vi mater modellen med slik at den genererer bildene våre. Det er ikke et trivielt problem, og du må vite veldig godt hvordan du bruker den for å oppnå gode resultater.

Et veldig nyttig verktøy å lære er leksikon , der vi ser bilder og ledeteksten de har brukt, frøet og veiledningsskalaen.

Ved å bla rundt vil du lære hva slags elementer du må tilordne til ledeteksten for å oppnå den typen resultat du leter etter.

Legg igjen en kommentar