Stable Diffusion WebUI 出圖顏色發(fā)灰？用好VAE立馬解決~

大家好，這里是和你們一起探索 AI 繪畫的花生~

之前已經(jīng)給大家推薦過不少 Stable Diffusion WebUI 的大模型，今天為大家介紹一下 WebUI 中“外掛VAE”的相關(guān)內(nèi)容，可以解決我們?cè)谟么竽Ｐ统鰣D過程中出現(xiàn)的圖像顏色發(fā)灰、發(fā)白的問題，一起來看看吧 ~

上期回顧：

1）VAE 簡(jiǎn)介

VAE 全稱 Variational Auto Encoder （變分自編碼器），是 stable diffusion 整個(gè)模型算法的組成部分之一，位于運(yùn)作流程的末端，作用是讓 stable diffusion 生成的圖像顏色更鮮艷、細(xì)節(jié)更銳利；同時(shí)也能在一定程度上改善局部細(xì)節(jié)的生成質(zhì)量，如手部、服裝、臉部等，我們可以簡(jiǎn)單地把它理解為一種“濾鏡”。

2）如何判斷是否需要使用 VAE 模型

VAE 模型不能單獨(dú)使用，要配合大模型一起使用。但不是所有大模型都需要使用 VAE, 因?yàn)橐恍┓€(wěn)定的大模型本身就自帶 VAE ，可以直接生成色彩正常的圖像，再使用 VAE 可能會(huì)起到反作用。而有一些大模型在融合訓(xùn)練的時(shí)候 VAE 被損壞了，導(dǎo)致生成的圖像色彩不佳，就需要搭配外掛 VAE。我們可以通過以下 2 種方式判斷一款大模型是否需要配合 VAE 使用：

① 根據(jù)圖像生成效果判斷
判斷是否需要使用 VAE 最直接的方式就是看生成圖像的效果，如果顏色發(fā)灰、發(fā)白，與你看到的參考圖像效果有明顯差異，那么就需要啟用 VAE。

② 看大模型的發(fā)布提示
一些大模型在發(fā)布的時(shí)候，如果需要使用外掛 VAE，會(huì)在發(fā)布聲明里說明。如下圖的Aniflatmix 大模型，在模型介紹頁面就明確有提到需要配合 VAE模型使用。我們可以按提示在網(wǎng)上搜索相關(guān)資源 ，然后下載使用就可以了。

3）VAE 模型下載

C 站可用 VAE 模型：https://civitai.com/models

VAE 模型和其他 AI 繪畫模型一樣，資源主要集中在 Civitai 和 Huggingface 兩個(gè)平臺(tái)上。我們可以在 Civitai 上通過篩選查看所有可用 VAE 資源，或者直接在互聯(lián)網(wǎng)上搜索你需要的 VAE 的名稱尋找資源。

這里也為大家推薦幾款常用的 VAE 模型，可以解決大部分的圖像色彩發(fā)灰問題。

① 通用 VAE

ema-560000: stabilityai/sd-vae-ft-ema-original at main （文末有資源包）
mse-840000: stabilityai/sd-vae-ft-mse-original at main （文末有資源包）

Stability AI 官方推出過 2 款 VAE ，vae-ft-ema-560000-ema-pruned 和 vae-ft-mse-840000-ema-pruned，它們適用于各種風(fēng)格的大模型，能有效提升畫面色彩的鮮艷程度。從使用經(jīng)驗(yàn)來說，ema-560000 會(huì)明顯地修改畫面的細(xì)節(jié)，mse-840000 則沒有那么明顯。

② 風(fēng)格化 VAE

ClearVAE：ClearVAE - v2.3 | Stable Diffusion VAE | Civitai （文末有資源包）
kl-f8-anime2：https://civitai.com/models/23906 （文末有資源包）
Anything：https://civitai.com/models/110630/anything-model-vae-v40 （文末有資源包）

有些 VAE 則只適合特定風(fēng)格的大模型，大家在下載的時(shí)候可以仔細(xì)閱讀 VAE 制作者的使用說明。比如 ClearVAE、kl-f8-anime2、anything 等，都是適合動(dòng)漫風(fēng)大模型的 VAE。

不同的 VAE 下，圖像生成效果會(huì)略有差異，大家可以根據(jù)實(shí)際情況對(duì)比選擇：

4）VAE 的使用與管理

VAE 模型下載后，需要放進(jìn)根目錄的 models\VAE 文件夾內(nèi)；如果要卸載某個(gè)VAE，也是在VAE 文件夾中刪除對(duì)應(yīng)的文件就可以了。

在 WebUI 中，選擇好大模型后，在“外掛 VAE ” 的下拉欄中選擇對(duì)應(yīng)的模型就可以了；不需要 VAE 的話，默認(rèn)“自動(dòng)”或者“無”。

如果你使用的是 @秋葉aaaki 大佬的整合包，也可以進(jìn)入啟動(dòng)器的“模型管理”界面，選擇“VAE模型”版塊，立馬有多個(gè) VAE 模型可以直接下載，下載完成后文件會(huì)自動(dòng)放入根目錄。

以上就是本期為大家分享的 Stable Diffusion WebUI 中「外掛 VAE」的相關(guān)內(nèi)容，喜歡本期推薦的話記得點(diǎn)贊收藏支持一波，之后會(huì)繼續(xù)為大家推薦更多實(shí)用的 AI 繪畫干貨。有關(guān)于本文或者設(shè)計(jì)的問題可以在評(píng)論區(qū)提出 ，我會(huì)第一時(shí)間回復(fù)。

獲取更多優(yōu)質(zhì) AI 繪畫干貨知識(shí)，歡迎訪問 「優(yōu)設(shè)AI自學(xué)網(wǎng)」 ，超多 AI 繪畫神器與教程等你探索。

訪問鏈接： https://ai.uisdc.com/

參考資料：
https://blog.csdn.net/naisongwen/article/details/132040012
https://zhuanlan.zhihu.com/p/631452035

推薦閱讀：