Stable Diffusion คืออะไร ติดตั้งและใช้งานอย่างไร

ภาพที่สร้างขึ้นด้วยการแพร่กระจายที่เสถียร

นี่คือคู่มือฉบับหนึ่งที่จะช่วยให้คุณเรียนรู้เกี่ยวกับ Stable Diffusion และสอนวิธีการใช้งานเครื่องมือนี้

ภาพด้านบนสร้างขึ้นโดยใช้ Stable Diffusion โดยสร้างขึ้นจากข้อความต่อไปนี้ (พรอมต์)

ภาพทิวทัศน์เมืองที่มีตึกระฟ้า โดย สตานิสลาฟ ซิโดรอฟ ศิลปะดิจิทัล สมจริงมาก รายละเอียดสูงมาก เหมือนภาพถ่าย ความละเอียด 4K แนวคิดตัวละคร แสงนุ่มนวล สไตล์เบลด รันเนอร์ ล้ำยุค

Stable Diffusion เป็นโมเดลการเรียนรู้ของเครื่องสำหรับการแปลงข้อความเป็นภาพ เป็นโมเดลการเรียนรู้เชิงลึกของปัญญาประดิษฐ์ที่ช่วยให้เราสร้างภาพจากข้อความที่เราป้อนเข้าไป

นี่ไม่ใช่โมเดลแรกหรือเครื่องมือแรกในสไตล์นี้ ปัจจุบันมีการพูดถึง Dall-e 2, MidJourney, Google Image กันมาก แต่ Stable Diffusion คือเครื่องมือที่สำคัญที่สุดเพราะสิ่งที่มันเป็นตัวแทน Stable Diffusion เป็นโครงการโอเพนซอร์ส ดังนั้นทุกคนสามารถใช้งานและแก้ไขได้ ในเวอร์ชัน 1.4 เรามีไฟล์ .cpxt ขนาด 4G ซึ่งเป็นที่มาของโมเดลที่ฝึกฝนล่วงหน้าทั้งหมด และนี่คือการปฏิวัติที่แท้จริง

ถึงขนาดที่ว่าภายในเวลาเพียง 2 หรือ 3 สัปดาห์หลังจากเปิดตัว เราก็พบปลั๊กอินสำหรับ PhotoShop, GIMP, Krita, WordPress, Blender ฯลฯ แทบทุกเครื่องมือที่เกี่ยวข้องกับรูปภาพต่างก็ใช้ Stable Diffusion กันหมดแล้ว แม้แต่คู่แข่งอย่าง Midjourney ก็ยังนำไปใช้เพื่อพัฒนาเครื่องมือของตนเอง แต่ไม่ใช่แค่ใช้สร้างเครื่องมือเท่านั้น ผู้ใช้เช่นเราก็สามารถติดตั้งลงบนพีซีและเรียกใช้งานเพื่อดึงรูปภาพมาเก็บไว้ในเครื่องได้เช่นกัน

เพราะนอกจากจะเป็นโอเพนซอร์สแล้ว ยังไม่ได้หมายความว่ามันจะมีประสิทธิภาพด้อยกว่ารุ่นก่อนๆ เลย มันเป็นเครื่องมือที่ยอดเยี่ยมมาก สำหรับผมตอนนี้ มันเป็นเครื่องมือที่ดีที่สุดที่เราสามารถใช้สร้างภาพสำหรับโปรเจกต์ต่างๆ ได้

วิธีการติดตั้งและใช้งาน Stable Diffusion

มีหลายวิธีในการใช้งาน ตอนนี้ผมแนะนำ 2 วิธี ถ้าคอมพิวเตอร์ของคุณมีประสิทธิภาพเพียงพอ กล่าวคือ มีการ์ดจอที่มี RAM ประมาณ 8GB ก็ให้ติดตั้งลงในคอมพิวเตอร์ของคุณ แต่ถ้าฮาร์ดแวร์ของคุณไม่แรงพอ ให้ใช้ Google Collab ตอนนี้ผมแนะนำ Altryne เพราะมีอินเทอร์เฟซแบบกราฟิกและใช้งานง่ายกว่า

ขั้นตอนโดยละเอียด

การร่วมมือของ Altryne

นี่คือตัวเลือกที่ฉันแนะนำหากคอมพิวเตอร์ของคุณไม่แรงพอ (การ์ดจอที่มีแรม 8GB) หรือหากคุณต้องการลองใช้ฟีเจอร์ทั้งหมดโดยไม่ต้องติดตั้งอะไรเลย

ดูสิ่งนี้ด้วย  GLM 5.2 การเขียนโค้ด AI: โมเดลน้ำหนักเปิดที่กำหนดนิยามใหม่ของการพัฒนาศักยภาพ

ฉันขอแนะนำโปรแกรมนี้เพราะมีอินเทอร์เฟซกราฟิกที่ใช้งานง่ายมาก พร้อมตัวเลือกมากมายในการควบคุมภาพและเครื่องมือสร้างแบบจำลองอื่นๆ เช่น การแปลงภาพเป็นภาพ และการขยายภาพ

เราใช้Google Colab ที่สร้างโดย Altryneและ Google Drive เพื่อบันทึกโมเดลและผลลัพธ์

ทุกอย่างฟรีครับ ผมได้แนบวิดีโอแสดงขั้นตอนทั้งหมดไว้ ซึ่งอย่างที่คุณจะเห็นว่ามันง่ายมาก

ติดตั้งบนพีซี

ในการติดตั้งจากพีซี คุณสามารถทำตามคำแนะนำใน GitHub ได้ที่https://github.com/CompVis/stable-diffusionหรือในเวอร์ชันที่มีอินเทอร์เฟซกราฟิกซึ่งผมชอบมากกว่าhttps://github.com/AUTOMATIC1111/stable-diffusion-webuiและบน Windows และ Linux คุณสามารถใช้ไฟล์ executable นี้ในการติดตั้งได้Stable Diffusion UI v2

คุณคงทราบอยู่แล้วว่าคุณจำเป็นต้องใช้ GPU ที่ทรงพลังพร้อม RAM อย่างน้อย 8GB เพื่อให้ทำงานได้อย่างราบรื่น คุณสามารถใช้ CPU ในการทำงานได้ แต่จะช้ากว่ามาก และประสิทธิภาพก็ขึ้นอยู่กับโปรเซสเซอร์ที่คุณมีด้วย ดังนั้นหากอุปกรณ์ของคุณเก่า คุณอาจต้องยอมรับที่จะใช้ Colab หรือวิธีการชำระเงินอื่นๆ เพื่อใช้งาน Stable Diffusion

ข้อดีของการใช้งานบนพีซีคือใช้งานได้เร็วกว่ามาก ไม่ต้องติดตั้งหรือตั้งค่าอะไร เพียงแค่ทำครั้งเดียวก็เพียงพอแล้ว หลังจากนั้นทุกอย่างก็จะเร็วขึ้นมาก

นอกจากนี้ อีกเหตุผลหนึ่งที่ผมชอบมันมากก็คือ ผมสามารถผสานมันเข้ากับสคริปต์อื่นๆ และใช้ประโยชน์จากรูปภาพที่สร้างขึ้นโดยการแทรกเข้าไปในขั้นตอนการทำงานของงานต่างๆ ได้โดยตรง ซึ่งเป็นจุดสำคัญมาก

ดิฟฟิวเซอร์รุ่นพิเศษที่ร่วมมือกันอย่างเป็นทางการ

มันคล้ายกับ Colab ที่ฉันแนะนำไปข้างต้นมาก การทำงานแทบจะเหมือนกัน คุณไม่จำเป็นต้องอัปโหลดโมเดล แต่ไม่มีส่วนติดต่อผู้ใช้แบบกราฟิก และในการแก้ไขตัวเลือกใด ๆ คุณต้องเปลี่ยนตัวเลือกในบล็อกโค้ดและแก้ไขเพื่อให้ตรงกับสิ่งที่เราต้องการ

นอกจากนี้ เราไม่สามารถใช้ตัวเลือกการคัดลอกรูปภาพไปยังรูปภาพ ซึ่งเป็นคุณสมบัติที่น่าสนใจมาก

คุณสามารถเข้าถึงได้จากลิงก์นี้https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb

เรามีตัวกรองภาพสำหรับผู้ใหญ่ หรือที่รู้จักกันในชื่อ NSFW แต่คุณสามารถปิดใช้งานได้โดยใช้โค้ดนี้ กล่าวคือ สร้างเซลล์ในเอกสารด้วยโค้ดนี้

def dummy_checker(images, **kwargs): return images, False
http://pipe.safety_checker = dummy_checker

คุณต้องวางไว้หลังเซลล์ทันที

pipe = pipe.to("cuda")

และเรียกใช้

โคแล็บ สเตเบิล ดิฟฟิวชัน อินฟินิตี้

ใน Colab นี้ เราสามารถใช้เครื่องมือ Infinity ซึ่งช่วยให้เราปรับแต่งรูปภาพได้ สร้างเนื้อหาจากรูปภาพที่มีอยู่แล้ว เป็นอะไรที่เจ๋งมาก

ดูสิ่งนี้ด้วย  Google Colab

https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb#scrollTo=lVLSD0Dh0i-L

Dreamboth พร้อม Stable Diffusion

นี่คือการนำ Dreamboth ของ Google มาใช้งานร่วมกับ Stable Diffusion ซึ่งช่วยให้สามารถสร้างผลลัพธ์ส่วนบุคคลโดยใช้ใบหน้าของบุคคลตัวอย่างได้จากภาพเพียงไม่กี่ภาพ

วิธีปรับแต่งภาพที่ยอดเยี่ยมมาก

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

การร่วมงานอื่นๆ

คุณรู้วิธีใช้ Colab อยู่แล้ว งั้นผมจะแนะนำเครื่องมืออื่นๆ ที่ผมหามาได้ เพื่อให้คุณเลือกใช้เครื่องมือที่ชอบที่สุด หรือถ้าอยากจะคัดลอกแล้วแก้ไขตามใจชอบเพื่อสร้างเวอร์ชันของคุณเองก็ได้

จากเว็บไซต์อย่างเป็นทางการ

วิธีใช้งานง่ายๆ เหมือนกับการใช้ Dall-e 2 ใน OpenAI แต่ถ้าใช้แพลตฟอร์มนั้นจะต้องเสียค่าใช้จ่ายhttps://stability.ai/

จาก HuggingFace

การทดสอบอย่างรวดเร็วและถ่ายรูปเพื่อดูว่ามันทำงานอย่างไรนั้นเป็นตัวเลือกที่น่าสนใจ แต่หากเราจะจริงจังกับเรื่องนี้ เราจะต้องพิจารณาตัวเลือกอื่นๆ อีกมากมาย

https://huggingface.co/spaces/stabilityai/stable-diffusion

การใช้ AWS หรือบริการคลาวด์อื่นๆ

โมเดลการแพร่กระจายที่เสถียร (Stable Diffusion) สามารถใช้งานได้โดยการรันบนฮาร์ดแวร์ในระบบคลาวด์ ซึ่งบริการคลาสสิกอย่างหนึ่งคือ AWS ของ Amazon ในขณะนี้ ผมกำลังทดสอบกับอินสแตนซ์ EC2 เพื่อใช้งานกับอัลกอริทึมต่างๆ ผมจะมาเล่าให้ฟังว่าผลเป็นอย่างไร

บริการชำระเงินอื่นๆ

มีตัวเลือกมากมายและกำลังเพิ่มขึ้นเรื่อยๆ ตั้งแต่การนำไปใช้ในภาพถ่ายสต็อกไปจนถึงเว็บไซต์ที่อนุญาตให้เราเชื่อมต่อกับ API ในขณะนี้ สิ่งนี้ดึงดูดความสนใจของฉันมาก แม้ว่าโดยส่วนตัวแล้วฉันจะเลือกใช้บริการฟรีก็ตาม

เครื่องมือสำหรับวิศวกรรมที่รวดเร็ว

ส่วนของวิศวกรรมนั้นเกี่ยวข้องกับการสร้างข้อความแจ้งเตือน กล่าวคือ วลีที่เราป้อนให้กับโมเดลเพื่อให้มันสร้างภาพออกมา นี่ไม่ใช่เรื่องเล็กน้อย และคุณต้องรู้วิธีใช้งานอย่างละเอียดเพื่อให้ได้ผลลัพธ์ที่ดีเยี่ยม

เครื่องมือที่มีประโยชน์มากในการเรียนรู้คือพจนานุกรมซึ่งเราจะเห็นภาพและคำใบ้ที่พวกเขาใช้ รวมถึงคำหลักและระดับคำแนะนำ

การสำรวจดูจะช่วยให้คุณเรียนรู้ว่าคุณต้องกำหนดองค์ประกอบประเภทใดให้กับข้อความแจ้งเตือนเพื่อให้ได้ผลลัพธ์ที่คุณต้องการ

แสดงความคิดเห็น