出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

推薦閱讀

AI 繪圖如火如荼發展了這么久,從 MJ 到 SD webUI,再到時下最熱門的 Comfy UI。因為顯存的問題對 Mac 用戶一直不是很友好,阻礙了大部分設計師上手學習的道路。但是 Comflowy 解決了這個痛點。這是一款 Mac 系統可用本地版的 sd,一鍵安裝,讓蘋果用戶不再只是看個熱鬧無法上手或去購買價格高昂的線上生圖工具。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

ComflowySpace 的官網入口

  1. 官方網站主頁: https://www.comflowy.com
  2. GitHub 源碼庫: https://github.com/6174/comflowyspace

一、Comflowy簡介

Comflowy 是一款專為簡化和增強 AI 圖像及視頻生成工具使用體驗而設計的開源軟件,基于 ComfyUIStable Diffusion,提供 Windows 和 Mac 客戶端,個人可免費使用。相比 SD WebUI 和 ComfyUI 的上手難度,Comflowy 提供了更友好的體驗,即使是沒有技術背景的用戶也能夠輕松上手,讓更廣泛的設計師用戶利用 AI 技術進行圖像和視頻的生成。需要注意的是 MAC 用戶需要配置 M1 以上的芯片,16G 內存以上(Intel 芯片用戶和內存不夠的設備建議使用線上版)。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

ComflowySpace 提供了豐富的功能和更便捷的使用體驗:

  1. 全面的 Workflow 功能:ComflowySpace 包含了 ComfyUI 的所有基礎 Workflow 功能,交互形式保持一致,讓您能夠快速上手。
  2. 模型支持:支持加載 ComfyUI 內的模型,無需重新下載,也不會占用額外的存儲空間。
  3. 插件生態:兼容 ComfyUI 的各種第三方插件,擴展了功能和可能性。

二、Comflowy的優勢

相較于 ComfyUI,ComflowySpace 的優勢在于:

① 一鍵安裝:省去了繁瑣的安裝流程。

② Workflow 管理:自動保存每次更改,無需手動導出。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

③ 模板功能:提供了豐富的模板,簡化了 Workflow 的搭建過程,并提供了詳細的教程。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

④ 優化的用戶體驗:對 UI 和 UX 進行了優化,讓創意探索更加順暢和舒適。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

三、為什么遷移到ComfloUI

以上是工具的介紹。但是為什么要從 webUI 遷移到 comfy UI 呢?

我們先來簡單看看 SD Web UI 和 ComfyUI 的 UI 界面,你應該就能知道它們的區別了。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

從上圖中可以看到,SD WebUI 的 UI 更像是我們傳統使用的產品,有很多輸入框,還有多個按鈕。而 ComfyUI 的 UI 界面則非常復雜,除了輸入框,還有很多一塊塊的東西,并且還有很多復雜的連線。

從學習成本來看,ComfyUI 的學習成本會比 SD WebUI 高。但是這種連線其實并不復雜,你可以這么理解:

  1. 這些小的方塊跟 SD WebUI 的輸入框和按鈕是一樣的,都是對參數進行配置。
  2. 連線可以理解為搭建自己的生產流水線,從左到右依次運行。
  3. 從功能的角度看,其實兩個產品截圖所提供的功能是一樣的,只是 ComfyUI 變成了這種連線的方式。

這種方式有什么好處?我們一起來看看這兩個用 ComfyUI 搭建的工作流:

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

對比兩個工作流,你會發現它只是有一個節點不一樣,左側圖是直接加載圖片,右側圖是通過畫板繪制圖片。這樣就實現了兩個不同的功能(左側圖是導入圖片生圖,右側圖是繪圖生圖)。這就意味著,你可以通過改變節點的方式來改變工作流,從而實現不同的功能。這樣做有兩個好處:

  1. 你可以根據自己的需求搭建適合自己的工作流,而不需要依賴開發者。你也可以根據自己的需求,去開發并改造某個節點。
  2. 工作流可以直接導出為 Jason 文件,更快速便捷的分享給小伙伴,而不是繁瑣的截圖教程。

所以,選擇 ComfyUI 最核心的原因就在于它的自由和拓展,就像樂高一樣。你可以自己調整工作流中的每個節點進行串聯和并聯,甚至加入翻譯,反推,自動化等等更高效的節點來創造獨屬于自己的工作流。并且其他小伙伴拿到分享的工作流可以直接一鍵使用。這所有的一切都形成了 ComfyUI 獨特開放的社區文化,讓這個平臺成為更多設計師的主要生產工具。

除了以上優勢外,ComfyUI 對顯存要求較低,同時優化了生成流程,提高了出圖速度。它能在同樣 8G 顯存的情況下支持 SDXL 還能使用兩個 XL 的 Controlnet(還沒用過三個),SD web UI 是跑不了的,加載模型都不行。

綜上,ComfyUI 相比于 SD webUI,它可以使用多個流水線工作,用不同的處理方式處理多個不同的圖片,最終輸出不同的圖片,如果工作量很大,你只需要調整節點后然后出去玩一整天,而不用像 webUI 一樣坐在電腦前等這張跑完了,換個輸入參數和咒語再跑另一張。

同時,它也支持多個模型和插件(包括 controlnet),輸入數據用多個插件同時控制一張圖片,滿足你對視角,動作,場景細節的要求。甚至得益于它的高效率和高控制能力,讓圖片轉視頻,視頻轉視頻這種需要大量轉繪操作的輸出變得更簡便高效,將 AI 繪圖自動化向前推進了一大步。

四、項目實踐

58 數科在最近推出了吉祥物小海獺「福寶」。在針對福寶的設計展示上,我們希望借助 ai 的能力,快速產出不同風格的視覺圖以達到快速上線的目的。同時在已有的基礎設定上延展不同的場景。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

step1 選擇合適的工作流配置好基礎參數

首先進入模版區,選擇 Canny ControlNet workflow,進入畫布后在標注 Erros 的地方選擇對應的模型和參數。可以在左側畫布操作,也可以在右側控制面板操作。

step2 第一個 Apply Controlnet 后串聯第二個 Apply Controlnet

從第一個 Apply Controlnet(positive)的 CONDITIONING 節點拉出連線,選擇 Apply Controlnet(positive)。然后從左側的 control_net 節點拉出線,為這個模塊添加對應的 controlnet 模型。最后將這兩個模塊串聯到 KSamper 的 positive 節點上。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

step3 串聯一個 lora

從 checkpoint 模塊的 model 節點拉線出來,選擇 Load LoRA,再將三個節點分別連接到前后兩個模塊

step4 輸入對應的咒語,點擊運行

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

step5 上傳其他草圖和對應的咒語,點擊運行批量生圖

最后批量生圖只需要上傳草圖,對應修改關鍵詞,再點擊運行。已經加載過的模塊將不再需要再次加載。使用工作流生圖的運行時間約比在 webUI 中節約 1/3 的時間,且后續復用這個工作流只需要在模版中直接調用就可以了,大大提升工作效率。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

五、最后

Comfy UI 強的地方在于復現工作流和全自動化生產,一鍵直接出圖。Webui 里面要反復圖生圖調參數去試,而且第一次跟第二次生成效果,可能就是不一樣,而在 Comfy ui 里,工作流搭建成功,只需要點擊運行,只要不調整參數,你每一次都可以保證生成差不多的效果,達到統一風格,這點就實現了 AI 本該有的自動化流程。使用 AI 作為生產力工具,會越來越趨向于自動化,未來一定是越來越可控,而 Comfy Ui 就是走向這個未來的必經之路。Comflowy 這個工具則是這條路上廣大 Mac 用戶的福音,這就去試試吧。

歡迎關注「58UXD」的微信公眾號:

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

收藏 122
點贊 54

復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。