大家好,這里是和你們一起探索 AI 繪畫的花生~
前段時間 Stabilty AI 官方發布了一個開源模型 SDXL Turbo,它和我們之前講過的 LCM 一樣,只需 1-4 步就能完成圖像生成,同時圖像質量依舊保持的不錯。如果將 SDXL Turbo 部署到本地, 我們就可以免費在自己電腦上實現 AI 圖像實時生成
今天就為大家推薦幾種在本地部署使用 SDXL Turbo 模型的方法,包括 Stable Diffusion WebUI、ComfyUI 和 Fooocus,經測試可以將圖像的生成速度提升 6-10 倍;還可以借助屏幕捕捉插件實現類似于 Krea AI 的實時繪畫效果。
SDXL Turbo 官方線上體驗途徑: https://clipdrop.co/stable-diffusion-turbo
相關推薦:
Civitai 上有位大神將 LCM 和 SDXL Turbo 融合成了一個新模型,安裝到 SD WebUI 中后就能實現圖像實時生成。(附件有資源包)
首先我們需要將 SD WebUI 更新到最新版本,然后下載上方的 RealitiesEdgeXLLCM_TURBOXL 大模型,安裝到 WebUI 根目錄的 models/stable diffusion 文件夾中。文末資源包中還有一個 sdxl vae 文件,安裝到根目錄的 models/VAE 文件夾中。
進入 WebUI 后,進行如下設置:
- 大模型:RealitiesEdgeXLLCM_TURBOXL,VAE:sdxl vae
- Clip Skip 數值調整為 1;采樣步數 4-10 之間;CFG Scale 參數 1-2;尺寸 1024px 左右;采樣器使用 Euler A 或者 LCM 都可以。
經測試在 8G 的 4060 上生成一張 1024*1024px 的圖像僅需 8 秒,比使用 SDXL 1.0 base 模型的快了 8 倍,并且圖像質量依舊保持得很好。
這個大模型還可以配合 SDXL Controlnet 使用。下圖是我用 sai_xl_canny 控制模型生成的 1024*1024 px 的圖像,生成時間 13 秒,比用 SDXL 1.0 Base 模型的生成速度要快上六七倍。
如果你還沒有安裝 SDXL Controlnet 模型,可以看我之前寫的 《SDXL controlnet 安裝使用教程》 。想學習如何使用 Stable Diffusion WebUI 的話,歡迎了解我最新制作的 《零基礎AI繪畫入門完 全 指南》 ,我會系統講解 Stable Diffusion WebUI 的基礎用法和使用技巧,幫你掌握圖生圖、文生圖功能以及當下最熱門的控制插件 Controlnet。
Fooocus 之前已經為大家介紹過了,它是一款非常輕便簡單的免費 AI 繪畫工具,融合了 Midjourney 和 WebUI 的優點,專注于 SDXL 模型,所以 SDXL Turbo 也可以在 Fooocus 中使用。
使用方法:
①下載安裝 Stabilty AI 官方發布 sd_xl_turbo_1.0_fp16 模型,安裝到根目錄的 Fooocus\models\checkpoints 文件夾中。(文末有資源包)
②進入 Fooocus 操作界面,勾選 Advanced 選項,在右側選項欄進行如下設置:
在 Model 版塊內,選擇大模型 sd_xl_turbo_1.0_fp16;refiner 選擇無;
在 Advanced 區域內,將 Guidance Scale 參數設置為 1-4 之間,勾選 Developer Debug Mode,在彈出的選項款內,將 Sampler 修改為 euler_ancestral;將 Forced Overwrite of Sampling Step 參數改為 1;將 Forced Overwrite of Generating Width 和 Height 參數都修改為 512。
設置完成后就可以點擊生成了,經測試生成一張圖像僅需 2 秒,不過質量也稍微下降了一點。其實就 Fooocus 的一貫風格來說,上面的設置步驟其實算復雜的了。這是因為 SDXL Turbo 剛出來不久,而 Fooocus 的作者目前也正在忙,沒有進行相應的兼容設置。我們可以也等待一下 Fooocus 的后期更新,用起來應該會更方便。
零基礎 ComfyUI 入門教程:
在 ComfyUI 中部署 SDXL Turbo 后,生成一張圖像只需 0.3 秒,生成的圖像會隨輸入的提示詞實時變化,做到真的“實時生成”。具體操作方式如下:
①下載 Stabilty AI 官方發布 sd_xl_turbo_1.0_fp16 模型,安裝到 ComfyUI 的模型根目錄中(如果是與 WebUI 共用模型,則放到 WebUI 根目錄的模型文件夾中),ComfyUI 需要更新到最新版本(文末有資源包)
②進入 ComfyUI 部署實時生成工作流。可以按下方圖像手動自動布置,或者直接去文末資源包中下載 flow 節點文件。工作流中的數值設置依舊需要注意:
設置參數也需要注意:采樣步數設置為 1 即可;CFG Scale 參數為 1-2 之間;采樣器選擇 LCM,圖像尺寸目前只能是 512*512,過高會出現畫面崩壞(算是目前的一個小缺陷,后期官方應該會修復);
在右側工具欄中啟用 Auto queue 自動生成選項;這樣工作流會自動啟動,只需輸入提示詞就能體驗到實時生成的效果。
現在還有一個 ComfyUI 屏幕捕捉插件 mixlab nodes,支持將電腦的其他界面接入 ComfyUI,與 SDXL Turbo 模型結合,實時引導新圖像生成,比如圖片、視頻、Photoshop、Blender 等,效果類似 Krea AI。具體操作如下:
插件地址: shadowcz007/ c omfy u i-mixlab-node s (github.com)
1)安裝好 mixlab nodes 插件和 sd_xl_turbo_1.0_fp16 大模型,ComfyUI 需要更新到最新版本;
2)需要安裝涂鴉線條類的 sdxl controlnet 模型 ,比如 t2i-adapter_xl_sketch 或者 sai_xl_sketch_256lora;
3)進入 ComfyUI 后,按下圖部署工作流(文末資源包有 flow 節點文件);
4)工作流部署成功后,在電腦中打開你需要接入應用(比如 Ps ),然后點擊 ScreenShare 節點中的「Share Screen」選項,從彈出的列表中選擇對應的窗口進行屏幕共享。
5)再點擊 ScreenShare 節點中的「Set Area」選項,從目標窗口中框選制定區域,只讓畫布區域被插件捕捉。
6)然后點擊 「Live Run」選項,在目標區域區域內繪制內容,每次筆畫的改動都會對最終生成的內容造成影響。
有了屏幕捕捉插件 mixlab nodes,我們還可以借助之前推薦的 lcm-lora 插件 ,在 ComfyUI 中實現另一種方式的圖像實時生成。相比 SDXL Turbo,lcm lora 的優勢在于可以配合大部分的 SD1.5 和 SDXL 大模型使用,生成的圖像風格更多樣,尺寸也可以自由設置。
了解 lcm lora:
相關工作流如下圖,文末資源包中有 flow 節點文件可以直接使用。運行前需要先下載 lcm-lora-sdv1.5 和 lcm-lora-sdxl 這 2 個 lora 文件安裝到根目錄中,屏幕捕捉的操作方式和前面的一樣,使用時需要注意的點是:
- 如果選擇的是 sd1.5 的大模型,那么 lora 模型需要選擇 lcm-lora-sdv1.5,controlnet 模型需要選擇也是 sd1.5 的;
- 如果選擇的是 sdxl 的大模型,那么 lora 模型需要選擇 lcm-lora-sdxl,controlnet 模型需要選擇也是 sdxl 的,另外圖像的尺寸也不要低于 768*768px。
設置成功后,在目標區域內繪制草稿,即可實現實時繪圖。我測試后發現效果的確不錯,相當于我們自己在電腦上部署了一個 Krea AI,對做概念設計來說非常方便。
以上就是在 Stable Diffusion WebUI、ComfyUI 和 Fooocus 中部署 SDXL turbo 模型并實現圖像實時生成的相關教程,大家趕快動手嘗試一下吧。喜歡本期內容的話記得點贊收藏支持一波,之后會繼續為大家帶來更多 AI 繪畫干貨知識~ 也歡迎大家掃描下方的二維碼加入“優設 AI 繪畫交流群”,和我及其他 設計師 一起交流學習 AI 知識。
參考教程:
- https://www.bilibili.com/video/BV15H4y117m4
- https://www.bilibili.com/video/BV1JN41177ET
- https://www.bilibili.com/video/BV1cc411672x
推薦閱讀:
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
AI輔助海報設計101例
已累計誕生 737 位幸運星
發表評論 為下方 17 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓