5000字干貨！盤點2023年Stable Diffusion GUI工具及其創作生態

正文開始之前，這里先用一句話概括性的介紹一下 Stable Diffusion：它是一種基于深度學習的文本到圖像的生成模型。能夠根據文本描述創造出豐富多樣且具有高質量和細節的圖像。它的生成模型是通過大規模圖像及其描述的數據集訓練而成，所以生成的圖像在保持高創造性的同時，還具有較高的高分辨率。另外因其開源性質和強大的功能在 AI 繪畫領域具有重要的地位。具體的原理這里就不展開講了，我們只需要知道它是一種能夠通過文本描述生成圖像的 AI 繪畫工具就夠了。

2023 年是 AI 相關技術井噴式爆發的一年，在 AI 繪畫領域同樣發展迅猛，市面上形形色色的操作界面，看的大家眼花繚亂。Stable Diffusion 作為 AIGC 領域的領頭羊，今天我們就來盤點一下以它為基礎衍生而來的應用。盤點之前先將市面上的應用進行一下分類，可以簡單的把它們分成兩個陣營：一邊是廣為人知、處于市場主導地位的“大咖”，另一邊則是那些較少人知，但同樣充滿創意的“小眾選手”。

首先來介紹一下 Stable Diffusion 背后的公司 Stability AI 推出的幾款應用

1. Clipdrop

2023 年 3 月 Stability AI 為了擴大 Stable Diffusion 模型的安裝，收購了 Clipdrop 背后的母公司 Init ML。Clipdrop 是一個利用 AI 來自動幫助用戶完成照片編輯的應用，截至到收購之前已經積累了 1500 萬用戶。用戶可以通過 Clipdrop 自動提高低分辨率圖像的清晰度，裁剪照片中的個別元素、刪除背景等。stability AI 將其收購后，對 Clipdrop 進行了一系列升級，把 SD（Stable Diffusion 的簡稱）的一些功能整合到了平臺上。目前提供包括文字消除、背景移除和替換、圖像放大、重新照明、物體移除、草圖創建、圖像變體和擴展，以及使用新模型 SDXL 進行圖像生成等多項功能，而且這些都可以免費使用，無需注冊賬號。當然對于那些需要更多服務的用戶，平臺也提供了付費訂閱方案。

2. Dream Studio

Dream Studio 是由 Stability AI 官方推出提供算力的積分付費平臺，每個新賬戶贈送 25 積分，積分價格是 1000 積分 10 刀，大約可以生成 5000 張默認設置的圖片，相比于傳統的訂閱模式，這種支付方式更加靈活友好。對于不同的模型，積分消耗也有所不同。目前有兩種模型可供選擇，SDXL v1.0 模型生成步數 40 需要 0.91 積分，SD v1.6 模型生成步數 40 需要 1.07 積分。Dream Studio 整體的界面設計極為友好，還提供了畫布編輯功能，可以更加方便的使用局部填充和圖像擴展。

3. StableSwarm UI

最后一個由官方推出的 GUI 是與 SDXL（Stable Diffusion 的最新優化版本：Stable Diffusion XL，目前更新到了 v1.0）同時發布的 StableSwarm UI。乍一看，它的界面似乎與 Dream Studio 高度相似，但實際上它們之間還是有所區別的。StableSwarm UI 的獨特之處在于，它實質上是一個以 Comfy UI 作為后端服務的前端界面。根據官方在其周刊中的介紹，Swarm UI 結合了 Comfy UI 的強大功能、Web UI 的用戶友好性以及 Stable Studio 的高品質體驗，它的目的是將這三者的優勢融合在一起。當然，這只是官方的宣傳語，水分還是挺大的，實際的使用體驗差強人意，還有很大的提升空間，希望未來能有更多的改進。

4. InvokeAI

目前 InvokeAI 已經更新到了 3.1 版本，全面支持了 SDXL 新模型，并且推出了與 Comfy UI 類似的節點式工作流界面。結合其本身就具備的畫布功能，使重繪和圖像擴展變得更加方便。

5. SD.Next

SD.Next 是從 Web UI 衍生出來的產品，其優勢在于它不僅支持 Stable Diffusion 1.5/2.1/XL 模型，還兼容了 LCM、Segmind、Kandinsky、Pixart-α、Würstchen、aMUSEd、DeepFloyd IF、UniDiffusion、SD-Distilled、BLiP Diffusio、etc等多種擴散模型。此外，它適用于各種運行環境，并且擁有非常簡潔友好的UI界面和各種主題。

6. voltaML-fast-stable-diffusion

voltaML-fast-stable-diffusion 是一個開源項目，安裝簡單，界面簡潔干凈，非常適合新手學習。并且有文檔化的 API 接口，在速度上也有不小的提升。

7. Stable Diffusion online

Stable Diffusion Online 是一個提供在線免費的網站。它不僅提供了一種簡單直觀的操作界面，還特別增加了 Web UI 的界面設計，方便那些更喜歡或更習慣 Web UI 的用戶。此外網站還提供了 ControlNet 提示詞生成器和豐富的提示詞庫等功能。網站完全免費使用，無需注冊賬戶，特別適合初學者和對此領域感興趣的新手嘗試。

8. Hugging Face

Hugging Face 對經常使用 SD 的朋友應該都很熟悉，大家應該或多或少都在上面下載過各種模型，這里簡單介紹一下它，它起初是一家致力于聊天機器人的初創公司，因其在 GitHub 上開源的 Transformers 庫（預訓練語言庫），意外地在機器學習社區獲得了廣泛的關注和贊譽。現在該平臺已經成為機器學習領域的核心，擁有超過 100000 個預訓練模型和 10000 個數據集，大大降低了機器學習模型的門檻。它的開放文化吸引了全球廣泛的用戶和業界專家參與其中。在國內 Hugging Face 的應用也十分廣泛，特別是在 NLP（自然語言處理）工程師中，熟悉其 Transformer 庫已成為標準要求。該平臺為初學者提供了易于上手的數據集和模型，簡化了機器學習的入門過程。正是因為它開放的文化，目前平臺匯集了眾多大神部署的各類模型，這些模型可以免費使用，體驗非常方便。唯一的小缺陷在于平臺太過于熱門，有些時候需要較長的等待排隊時間。

9. Playground

最后一個體驗不錯的就是 Playground Ai，用戶可以免費使用 Stable Diffusion 模型，每天最多可以免費創建 1000 張圖像，并且允許商用。同時平臺也提供了付費訂閱選項，付費用戶可以使用更多模型比如 Dall-e2 等。生成圖像后，可以實時預覽和編輯，如調整亮度、對比度、飽和度、色彩等，甚至添加濾鏡、邊框、水印等效果。完成后可以通過獨立鏈接分享或直接下載保存。感興趣的朋友們可以去嘗試體驗一下。

AI 王者：Web UI

接下來是目前最受歡迎的 Stable Diffusion WebUI，它是一個基于 Web 網頁形式展現的圖形用戶界面，用于管理和控制 Stable Diffusion。提供了直觀、易于使用的界面。讓用戶不需要復雜的編程技能或深入的技術知識也能使用這個強大的圖像生成技術。用戶可以通過一個簡單的界面輸入文字描述，系統會根據這些描述生成相應的圖像。WebUI 雖然非常方便用戶的使用，但對本地算力有一定的要求，需要有較好的顯卡才能滿足程序運行。因為 WebUI 是緊隨 SD（Stable Diffusion）發布的，以開源、易用插件眾多的特點迅速成為了主流選擇。對于使用 SD 的用戶來說，大部分都始于 WebUI，因此 WebUI 在很多人心中已經成為了 Stable Diffusion 的代名詞。

潛力股：Comfy UI

目前 Comfy UI 正以獨特的特性和能力正迅速成為 AIGC 領域的焦點，它能夠讓用戶通過連接各種模塊（節點）來創建復雜而獨特的圖像生成流程。不僅可以作為圖形用戶界面使用，還能作為一個強大的后端服務，比如在電商領域非常火爆的 Krita＋Comfy UI 實時出圖，這里 Comfy UI 就是作為后端使用的，包括前文提到的 StableSwarmUI 也以 Comfy UI 為后端的項目。如果用過 OC 渲染器的同學對它節點式的界面不會感到陌生，即使是初學者也能通過拖放操作輕松連接不同的節點，完成文生圖和圖生圖的流程搭建，如果連接錯誤它會很直觀的告訴你哪里有錯誤。

開源也讓它擁有非常多不同種類的模塊，從簡單的入門到高級復雜的進階功能，能夠適應各種不同的項目需求，靈活定制屬于自己的工作流。支持 SD1.5、SDXL、LCM 模型，涵蓋動畫生成、Inpainting、ControlNet 等高級功能。同時對硬件的要求也很低，即使沒有 GPU 也可通過 CPU 運行，方便更多的用戶使用。

與其他工具相比，Comfy UI 創新的差異化能力，為用戶提供了更多的擴展性和應用可能性，讓用戶根據自己的需求創造個性化的生成流程。從最近的發展趨勢上看，Comfy UI 展現出了前所未有的潛力，隱隱的有種王霸之氣顯露出來。

抽卡的快樂：Fooocus

Fooocus 也是以 Comfy UI 作為其底層架構的項目，它的主要目標是將 Stable Diffusion 的交互體驗簡化為提示詞和圖像這一核心邏輯。所以它通過簡化界面，并對 SDXL 模型做了大量優化和質量改進的措施，提供了一個非常易于使用的平臺，特別適合那些不需要進行復雜調整的用戶，只需簡單的提示詞，就能生成高質量的圖像，單純享受抽卡的樂趣。如果沒有條件使用 Midjourney 想白嫖的話，Fooocus 是很好的選擇。

Fooocus 同樣支持放大、變化、Inpaint/Outpaint、風格化等多種圖像處理功能。對硬件的要求相對友好，最小 GPU 內存需求為 4GB，適用于更多類型的設備，特別是配置較低的電腦。

在廣受歡迎的同時，有網友就希望開發者能把 ControlNet 等好用的工具加入其中。盡管 Fooocus 的開發者和 ControlNet 的創作者是同一人，但他決定不將 ControlNet 集成到 Fooocus 中。因為加入 ControlNet 等工具可能會使 Fooocus 漸漸演變成類似 webui 的復雜系統。

針對希望將 ControlNet 等工具集成到 Fooocus 中的需求，github 社區有開發者創建了 Fooocus-MRE。這個版本在保持原始 Fooocus 界面邏輯的同時，加入了 ControlNet 和圖生圖等常用工具。雖然底層不同，但界面邏輯上看，MRE 版 Fooocus 已經非常接近 webui。

在探索 Stable Diffusion 及其 GUI 時，會發現不同界面之間既有聯系也有區別，它們共同構成了一個互補的生態系統。無論用戶的需求是追求操作簡便性、更高級的定制功能，還是特定的用戶體驗，都能在這個多樣化的 GUI 中找到合適的選擇。例如，對于追求簡潔性的用戶，Fooocus 提供了一個直觀易用的選項；而 MRE 版本則適合那些尋求更多功能的用戶。對于喜歡圖文框式操作的用戶，WebUI 提供了豐富的插件和靈活的界面；而 Comfy UI 則滿足了專業用戶對定制化和自動化的需求。通過這種多元化的選擇，Stable Diffusion 的 GUI 展現了其在滿足不同用戶需求方面的強大能力和靈活性。

碎碎念：AIGC 的發展對設計行業的沖擊相信大家都有所體會，本著打不過就加入，我們需要時刻保持學習的態度，去研究和擁抱它。從最近各大廠商發布的文章和一些社交媒體發布的內容來看，Comfy UI 可能是下一步重點的研究方向，我接下來也會寫一些教程類的文章，感興趣的朋友可以關注我后續的動態。

今天的文章就到這里感謝各位的閱讀，bye~

參考文獻：

1. https://zhuanlan.zhihu.com/p/637418467?utm_id=0
2. https://zhuanlan.zhihu.com/p/643420260
3. https://zhuanlan.zhihu.com/p/535100411
4. https://developer.aliyun.com/article/1244391

歡迎關注作者微信公眾號：「五幺六」