SDXL-Lightning 來啦！讓AI出圖速度提升 10 倍！

大家好，這里是和你們一起探索 AI 繪畫的花生~

AI 繪畫自出現(xiàn)以來一直在不斷發(fā)展，最明顯的體現(xiàn)就是圖像生成質量越來越高，還有很重要的一點就是出圖速度的提升。比如之前為大家介紹過的 LCM 和 SDXL Turbo，僅用 1-4 步就能完成圖像推理，使模型出圖速度比之前快了 8-10 倍 。最近，字節(jié)又推出了一個新的模型 SDXL-Lightning，它同樣能在幾秒之內就生成 1024px 的圖像， 且出圖質量比 LCM 和 Turbo 都要好，今天就為大家介紹一下 Lightning 的功能和用法。

相關推薦：

一、SDXL-Lightning 簡介

SDXL-Lightning 項目介紹： https://huggingface.co/ByteDance/SDXL-Lightning

SDXL vs Lightning vs Turbo 的快速比較工具： https://anotherjesse.com/posts/sdxl-lightning/

SDXL-Lightning 模型是從 Stability AI 的 stable-diffusion-xl-base-1.0 模型中，使用了一種結合漸進式和對抗式蒸餾的擴散蒸餾方法提煉出來的。漸進式蒸餾使提煉后的模型能保留原模型的圖像風格和種類，對抗式蒸餾則用于提升圖像生成質量，二者結合使 SDXL-Lightning 在圖像的快速生成和高質量、多樣化之間找到了一個平衡點， 使其在快速出圖的同時，依舊能保持較高的圖像質量，并且能夠覆蓋廣泛的圖像模式。

下面是官方給出的對比圖，可以看到 SDXL-Lightning 在 2-8 步之間的生成效果都不錯，8 步時質量最穩(wěn)定，甚至與 SDXL 模型 32 步的生成效果不相上下；即使在 4 步的條件下，在圖像質量以及風格多樣性也比 Turbo 和 LCM 模型好很多。

SDXL-Lightning 模型發(fā)布后很快就有了在線部署，我們可以免費在網站上測試它的出圖效果 。下面是我錄制的一個生成過程，可以看到文字輸入后圖像馬上就有了變化，反應速度非常快，并且在質量、風格與細節(jié)上都保持的不錯，相信 AI 實時繪畫也會因為 SDXL-Lightning 有進一步的發(fā)展。

SDXL-Lightning 實時生成在線試用①： https://fastsdxl.ai/

prompt：a 90s illustration of a dog chasing a butterfly in the autumn forest.

二、在 ComfyUI 中使用 Lightning 模型

模型地址： https://huggingface.co/ByteDance/SDXL-Lightning/tree/main

官方工作流： https://huggingface.co/ByteDance/SDXL-Lightning/tree/main/comfyui

字節(jié)目前已經放出了 SDXL-Lightning 完整的模型和工作流資源，模型包括 Checkpiont 和 Lora 兩種。

Checkpiont 模型分為 1step、2step、4step、8step 四款，1step 雖然出圖速度最快，但效果不穩(wěn)定，所以推薦使用 4step 或 8step，下面以 4step 模型為例，講解一下基礎用法。

1. 首先下載 sdxl_lightning_4step.safetensors 大模型，安裝到根目錄的 models/checkpoints 文件夾中（如果是和 SD WebUI 共享資源，則放到 WebUI 的根目錄中）。
2. 將 ComfyUI 更新到最新版本，然后把 comfyui_sdxl_lightning_workflow_full 工作流留拖入界面中。
3. 需要確認的設置有：① Ksampler 中得生成步數(shù)要與你選擇的大模型保持一致，這里我載入的是 4step 大模型，所以生成步數(shù)設置為 4 步；② 推薦使用 Euler 采樣器與 sgm_uniform 調度器。
4. 設置完成后就能生成了，經測試生成一張 1024*1024 px 的圖片只需要 6 秒，并且質量非常高。

除了官方的 4 個大模型，開源社區(qū)中 DreamShaperXL 大模型也已經有了 Lightning 微調版本，并且其圖像質量及風格美學在一定程度上優(yōu)于官方模型。如果想使用它，工作流同上，對應的參數(shù)設置為：CFG 為 2，采樣步數(shù) 3-6，采樣器必須為 DMP++ SED Karras，尺寸推薦 1024 px。

DreamShaperXL Lightning 下載： https://civitai.com/models/112902?modelversionid=354657 （文末有資源包）

SDXL Lightning Lora 模型則有 3 款：2step、4step 和 8step，它們可以與其他任意 SDXL 大模型搭配，在提升出圖速度的同時保持原模型的風格。具體工作流如下（文末有資源包），使用前需要先下載一個 LightningLlora 模型并安裝到根目錄的 models/lora 文件夾中 。

我使用的是動漫風大模型 CounterfeitXL 和 Lightning_4step_lora 模型， 生成一張 768*1024px 圖像的時間為 4s，圖像在風格與細節(jié)上與原模型幾乎沒有差別，只在顏色上不如原來明亮了，但可以通過添加 VAE 模型來改善這個問題。 如此短的時間內實現(xiàn)這樣高的質量，Lightning lora 的作用還是非常驚人的，它可以有效提升我們使用 XL 大模型的效率。

除了 Comfyui，lllyasviel 大神（Controlnet 和 Fooocus 的作者）開發(fā)的 Stable Diffusion WebUI Forge 也實現(xiàn)了對 SDXL-Lightning 的官方支持，有安裝的小伙伴可以去體驗一下。參數(shù)方面采樣器推薦選 Euler SGMUniform，CFG 需要為 1.0。

這里補充一下 WebUI Forge 的相關信息。WebUI Forge 是基于 A1111 WebUI 構建的一個高性能平臺，它在界面與使用方法上與 A1111 WebUI 沒有任何不同，主要區(qū)別在于：

1. 對低顯存用戶更友好。以最低的 6G 顯存為例，WebUI Forge 的推理速度比 A1111 WebUI 提升了 60~75%，高峰時對顯存的占用減少約 800MB 至 1.5GB，最大圖像分辨率（不會 OOM）增加約 3 倍，最大圖像生成批次（不會 OOM）增加約 4 倍 ，因此使用時不再會輕易爆顯存。
2. 支持更多新的功能。SVD/Z123/masked/Ip-adapter/masked controlnet/photomaker 的等功能在 A1111 WebUI 中目前都無法使用，而 WebUI Forge 引入了 Unet Patcher，可以在新功能出現(xiàn)后及時進行官方支持。

如果你不習慣 ComfyUI 的節(jié)點式界面，又想在 WebUI 中使用新出的 AI 功能，那么 WebUI Forge 就是一個很好的選擇，官方 Github 主頁有一鍵安裝包和使用教程，有需要的小伙伴可以自行下載：

WebUI Forge 下載安裝： https://github.com/lllyasviel/stable-diffusion-webui-forge

以上就是本期為大家推薦的 SDXL-Lightning 的相關內容，喜歡的話記得點贊收藏支持一波，之后會繼續(xù)為大家?guī)砀鄬嵱玫?AI 干貨知識。想了解更多 AI 內容的話，歡迎關注 優(yōu)設 AI 自學網；另外也可以關注「優(yōu)設 AIGC」的 微信 視頻號，小瓜老師每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握最新的 AI 發(fā)展動態(tài) ~

推薦閱讀：