AI 繪畫神插件 LayerDiffusion 教程！直接用文本生成透明底圖像！

大家好，這里是和你們一起探索 AI 的花生~

AI 繪畫自出現(xiàn)以來(lái)一直都在不斷發(fā)展完善，實(shí)現(xiàn)了很多我們?cè)趯?shí)際應(yīng)用中迫切需要的功能，比如生成正確的手指、指定的姿勢(shì)、準(zhǔn)確的文本內(nèi)容等。上周，又一個(gè)重磅新功能在開源的 SD 生態(tài)內(nèi)實(shí)現(xiàn)了——直接通過(guò)文本直接生成透明底圖像和圖層！這將為 AI 繪畫和設(shè)計(jì)領(lǐng)域帶來(lái)了新的可能性，使圖像形式更多樣，也能給設(shè)計(jì)師帶來(lái)更多便利。

今天我們就一起來(lái)了解實(shí)現(xiàn)這一新功能的技術(shù) LayerDiffusion，以及如何在 SD WebUI Forge 和 ComfyUI 中利用 LayerDiffusion 生成透明底圖片。

相關(guān)推薦：

一、 LayerDiffusion 簡(jiǎn)介

LayerDiffusion 是由 @ lllyasviel （沒(méi)錯(cuò)就是那個(gè)開發(fā)出 Controlnet、Fooocus 和 SD WebUI Forge 的大神）最新推出的一種透明圖像生成技術(shù)，它的核心所在是“潛在透明度”，即將 Alpha 通道整合到預(yù)訓(xùn)練模型的潛在結(jié)構(gòu)中，使模型能夠生成帶有透明度的圖。

官方給出的演示案例效果非常好，不僅可以生成一般物體，而且對(duì)于玻璃、發(fā)光這種透明/半透明的對(duì)象，以及頭發(fā)絲這種精細(xì)的內(nèi)容，生成的效果依舊完美。本文章封面圖的卷發(fā)女生就是我直接用 LayerDiffusion 生成的，極大提升了出圖效率，而且真正做到了“毫無(wú)摳圖痕跡”，再也不用擔(dān)心有白邊了。

除了直接生成透明底圖像，LayerDiffusion 還支持生成分層圖像。包括根據(jù)一個(gè)透明底圖像生成完美融合的背景，并將該背景提取為完整獨(dú)立的圖層；以及根據(jù)背景圖像+提示詞生成前景主體，并將該主體提取為透明底圖層。

目前 SD WebUI Forge 和 ComfyUI 已經(jīng)支持 LayerDiffusion 的透明底功能，并且在未來(lái)還將支持通過(guò)圖像生成透明底圖像，下面為大家介紹如何在這 2 款工具中實(shí)現(xiàn)對(duì)應(yīng)的功能。

二、在 SD WebUI Forge 中使用 LayerDiffusion

由于是同一個(gè)作者開發(fā)的，所以 SD WebUI Forge 最先實(shí)現(xiàn)了對(duì) LayerDiffusion 的支持，界面操作非常方便，生成速度也很快。具體操作如下：

① 安裝 SD WebUI Forge

SD WebUI Forge 一鍵安裝包： https://github.com/lllyasviel/stable-diffusion-webui-forge （附件有云盤資源，但但是軟件后期會(huì)更新，還是建議去原網(wǎng)址下載）

先下載 WebUI Forge 官方一鍵安裝包，解壓后安裝到本地；然后進(jìn)入根目錄，點(diǎn)擊 update.bat 更新程序（必須點(diǎn)擊），再點(diǎn)擊 run.bat 啟動(dòng) WebUI 界面。初次啟動(dòng)會(huì)下載很多配置文件，包括一個(gè) 1.99G 的 realisticVisionV51_v51VAE.safetensor 模型，所以時(shí)間會(huì)比較比較久，記得耐心等待，完成后會(huì)在瀏覽器中自動(dòng)打開 UI 界面。

② 安裝 LayerDiffusion 插件

Layerdiffusion 插件 Git 網(wǎng)址： https://github.com/layerdiffusion/sd-forge-layerdiffuse.git

安裝方法與 SD WebUI 一樣，即進(jìn)入 Extensions 版塊，選擇從 git 網(wǎng)站安裝，然后重啟 WebUI?；蛘哌M(jìn)入 WebUI Forge 根目錄，在 webui\extensions 文件夾中通過(guò) git clone 命令安裝。安裝成功后，就能在界面上看到 LayerDiffusion 的插件面板了

③ 安裝模型

LayerDiffusion 處理模型： https://huggingface.co/LayerDiffusion/layerdiffusion-v1/tree/main （網(wǎng)盤有資源包）

LayerDiffusion 插件目前僅支持 SDXL 模型，官方推薦了 Juggernaut XL V6 和 anima_pencil-XL 1.0.0 這兩款模型進(jìn)行操作（附件網(wǎng)盤有資源包），下載后安裝到根目錄的 webui\models\Stable-diffusion 文件夾中。此外還需要下載 8 個(gè) LayerDiffusion 處理模型，安裝到根目錄的 webui\models\layer_model 文件夾中。

WebUI Forge 的 LayerDiffusion 插件目前支持生成透明底圖像、根據(jù)背景圖像生成前景圖像和根據(jù)透明底前景生成背景圖像。下面分別介紹一下它們的操作方法：

① 直接生成透明底圖像

首先啟用 LayerDiffusion 插件，Method 選擇 Only Generate Transparent Image (Attention Injection)。然后選擇大模型、設(shè)置生成參數(shù)（下方有參考數(shù)值）。LayerDiffusion 會(huì)一次性生成 2 張圖像，第一張是帶棋盤背景的預(yù)覽圖，第二張則是透明背景的 PNG 圖片，下載后可以直接做為素材使用。

1. 大模型：juggernautXL_version6Rundiffusion；VAE：automatic
2. 正向提示詞：a red apple, high quality；
3. 反向提示詞：bad, ugly；
4. 生成參數(shù)：Steps: 25, Sampler: DPM++ 2M SDE Karras, CFG scale: 5, Size: 1024x1024,
5. layerdiffusion 插件：layerdiffusion_method: Only Generate Transparent Image (Attention Injection), layerdiffusion_weight: 1, layerdiffusion_ending_step: 1

② 根據(jù)背景圖像生成透明底前景

首先在啟用 LayerDiffusion 插件，并選擇 From background to Blending 模式并上傳一張背景圖像，然后選擇大模型、設(shè)置生成參數(shù)（下方有參考數(shù)值）。

1. 大模型：JuggernautXL_version6Rundiffusion；VAE：automatic；Clip Skip: 1
2. 正向提示詞：a man sitting, high quality；
3. 反向提示詞：bad, ugly；
4. 生成參數(shù)：Steps: 25, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Size:768x1024,
5. layerdiffusion 插件：layerdiffusion_method: From background to Blending, layerdiffusion_weight: 1, layerdiffusion_ending_step: 1, layerdiffusion_resize_mode: Crop and Resize

圖像生成后，先更改 LayerDiffusion 的模式為 From Background and Blending to Foreground，然后將右側(cè)的圖像直接拖入空白的 blending 圖像區(qū)，并將采樣器更改為 Euler A 或 UniPC （否則會(huì)出現(xiàn)一些顏色誤差，這一點(diǎn)作者正在研究改進(jìn)）；再次點(diǎn)擊生成，就能得到前景人物的透明底圖像。

③ 根據(jù)前景生成背景

先使用 LayerDiffusion 生成一張透明底的物體，比如一個(gè)玻璃杯或者一只小貓，然后保存圖像。將 LayerDiffusion 模式修改為 From Foreground to Blending，上傳剛剛生成的透明底圖像，然后加上提示詞以及生成參數(shù)（下方有參考數(shù)值），點(diǎn)擊生成。

1. 大模型：JuggernautXL_version6Rundiffusion；VAE：automatic；Clip Skip: 1
2. 正向提示詞：a dog sitting on the grass, in a spring park, high quality；
3. 反向提示詞：bad, ugly；
4. 生成參數(shù)：Steps: 25, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Size:896*1152,
5. ?layerdiffusion 插件：layerdiffusion_method: From Foreground to Blending, layerdiffusion_weight: 1, layerdiffusion_ending_step: 1, layerdiffusion_resize_mode: Crop and Resize

然后將 LayerDiffusion 模式修改為 From Foreground and Blending to Background，將生成的圖像拖入 Blending 區(qū)域，然后將 stop_at 參數(shù)調(diào)整為 0.5、采樣器更改為 Euler A 或者 UniPC，并將提示詞修改為 “a spring park,grass, high quality”，點(diǎn)擊生成，就能得到一張完整的背景圖像了。

三、在 ComfyUI 中使用 LayerDiffusion

① 安裝插件

ComfyUI-layerdiffuse 插件 git 網(wǎng)址： https://github.com/huchenlei/ComfyUI-layerdiffuse.git

首先將 ComfyUI 更新到最新版本。然后安裝 layerdiffuse 插件，可以用過(guò) manager 安裝，也可以進(jìn)入根目錄的 custom_nodes 文件夾中，通過(guò) git clone 命令安裝；安裝成功后，進(jìn)入 ComfyUI-layerdiffuse 根目錄，打開終端命令，運(yùn)行 pip install -r requirements.txt 命令，安裝 python 依賴項(xiàng)。

② 安裝模型

LayerDiffusion 處理模型： https://huggingface.co/LayerDiffusion/layerdiffusion-v1/tree/main （網(wǎng)盤有資源包）

ComfyUI-layerdiffuse 插件目前僅支持 SDXL 模型，選擇大模型時(shí)需要注意；此外還需要下載 LayerDiffusion 處理模型，安裝到根目錄的 models\layer_model 文件夾中。

③ 加載工作流

插件官方提供了 7 種工作流，全部存放在 custom_nodes\ComfyUI-layerdiffuse\examples 文件夾中，可以實(shí)現(xiàn)生成透明底圖像、通過(guò)背景圖像生成透明底前景、通過(guò)透明底前景生成完整背景等操作；我也進(jìn)一步整理了這些文件，打包資源在文末網(wǎng)盤內(nèi)。啟動(dòng) ComfyUI 界面后，可以用 workspace 插件一次性將整個(gè)工作流文件夾導(dǎo)入 ComfyUI 中。

④ 直接生成透明底圖像

layer_diffusion_fg_example_rgba 和 layer_diffusion_fg_example 兩個(gè)工作流都可以生成透明底圖像，且第二個(gè)工作流可以額外生成一個(gè) Alpha 通道蒙版。

⑤ 生成前景&生成背景

layer_diffusion_cond_example 工作流可以同時(shí)實(shí)現(xiàn) “根據(jù)透明底前景生成背景” 和 “根據(jù)背景透明底前景” ，使用時(shí)注意在 Layer Diffuse Cond Apply 節(jié)點(diǎn)中對(duì)應(yīng)地將 layer_type 調(diào)節(jié)成 foreground 或者 background。

⑥ 提取完整背景

在根據(jù)一個(gè)透明底圖像生成背景后，可以通過(guò) layer_diffusion_diff_bg 工作流提取一個(gè)完整的背景圖層。主體在提示詞中完整描述背景內(nèi)容，采樣器需要選擇 Euler A 或者 Uni_pc。

⑦ 提取前景圖層

在一個(gè)背景圖中生成一個(gè)新的主體后，可以再通過(guò) layer_diffusion_diff_fg 工作流將主體提取為透明底圖層。注意修改提示詞，采樣器依舊選擇 Euler A 或者 Uni_pc。

以上就是本期為大家介紹的 AI 繪畫插件 layerdiffusion，安裝后可以在 SD WebUI Forge 和 ComfyUI 中通過(guò)文本生成透明底圖像及分層圖像。文內(nèi)提到的模型及工作流文件都在文末的云盤鏈接內(nèi)，有需要的有需要的小伙伴可以記得下載~

如果你還不了解 Stable Diffusion 的用法，可以看看我最新制作的 《零基礎(chǔ) AI 繪畫入門指南》，這是一門面向 AI 繪畫零基礎(chǔ)人群的系統(tǒng)課程，有全面細(xì)致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。如果有關(guān)于文章的問(wèn)題，歡迎在評(píng)論區(qū)留言，或者下方的二維碼加入“優(yōu)設(shè) AI 繪畫交流群”，和我及其他 設(shè)計(jì)師 一起交流學(xué)習(xí) AI 知識(shí)~

推薦閱讀；