Stability AI 帶著 SD 3.5 回來(lái)了！修復(fù)重大 Bug， 可免費(fèi)商用！

大家好，我是花生~

就在昨天，知名開(kāi)源大模型平臺(tái) Stability AI（以下簡(jiǎn)稱(chēng) SAI）突然發(fā)布了新的 Stable Diffusion 3.5 模型。本以為在經(jīng)歷 SD 3 發(fā)布失利、核心成員出走、Flux 模型發(fā)布等一系列沖擊后，SAI 會(huì)元?dú)獯髠?，沒(méi)想到原來(lái)是在默默憋大招。

這次發(fā)布的 SD 3.5 模型不僅在很多方面都有了優(yōu)化提升，而且全部免費(fèi)可商用，算是給開(kāi)源社區(qū)的發(fā)展注入了一針新的強(qiáng)心劑，下面一起來(lái)看看它的特點(diǎn)和使用方法吧~

了解 6 月份發(fā)布的 SD 3 模型：

一、SD 3.5 模型簡(jiǎn)介

此次的 SD 3.5 模型總共包括 3 個(gè)型號(hào)，分別是 ：

① SD 3.5 Large：擁有 80 億個(gè)參數(shù)，在圖像質(zhì)量和提示詞準(zhǔn)確性方面表現(xiàn)優(yōu)異，是 SD 系列中最強(qiáng)大的模型，適合 1 兆像素分辨率的專(zhuān)業(yè)用例。

② SD 3.5 Large Turbo：Large 模型的精煉版本，只需 4 個(gè)步驟即可生成高質(zhì)量圖像，因此出圖質(zhì)量會(huì)比 Large 快，同時(shí)提示詞準(zhǔn)確性依舊能保持在不錯(cuò)的水平。

③ SD 3.5 Medium（29 號(hào)正式發(fā)布）：該模型擁有 25 億個(gè)參數(shù)，適用于消費(fèi)類(lèi)硬件，平衡了圖像質(zhì)量和模型易用性，是更適合一般用戶(hù)的性?xún)r(jià)比之選。

從官方發(fā)布的示例圖，以及網(wǎng)上用戶(hù)發(fā)布的測(cè)試圖來(lái)看，SD 3.5 的圖像生成質(zhì)量的確不錯(cuò)。SD 3 時(shí)就具備的特性，比如高清細(xì)節(jié)、準(zhǔn)確的提示詞理解、 優(yōu)秀的文本生成排版能力等，在 SD 3.5 中依舊保有并表現(xiàn)更好了，另外 SD 3.5 還支持更包容的內(nèi)容輸出和更多樣的風(fēng)格。

比如之前的 SD 模型默認(rèn)以白色人種為主，現(xiàn)在則可以輕松能生成不同膚色的人；而且只需修改關(guān)鍵詞，SD 3.5 就能生成各種藝術(shù)風(fēng)格的圖像，包括 3D、攝影、卡通、線條藝術(shù)、賽博朋克等，美學(xué)質(zhì)感表現(xiàn)非常亮眼, 甚至不輸 Midjourney 和 Flux.1。

另外 SD 3.5 修復(fù)了 SD 3 模型的一個(gè)重大 bug —— 無(wú)法生成 “躺在草地上的女孩” 。這點(diǎn)大家應(yīng)該有印象，SD 3 在發(fā)布后，很快被人發(fā)現(xiàn)在生成 “A girl lying on the grass” 時(shí)，人物的軀體四肢會(huì)出現(xiàn)明顯的扭曲畸形，相關(guān)圖像也成了一時(shí)廣為流傳的 AI 梗圖，讓 SD3 的處境非常尷尬。

也許是為了一雪前恥，在此次介紹更新的官方博客中，第一張放的就是一個(gè)女性仰面躺在草地上的圖像，我第一眼看到的時(shí)候差點(diǎn)笑出聲，看來(lái)官方也是知道大家對(duì) SD3 的吐槽的。 不過(guò)在博客中，官方也提到之所以沒(méi)有立刻對(duì) SD3 采取修復(fù)措施，是決定花時(shí)間進(jìn)一步開(kāi)發(fā)一個(gè)新版本，于是 SD 3.5 就誕生了，SD 系列也算是能接上原有的發(fā)展路徑了。

最最重要的是，此次發(fā)布的三個(gè)模型都有非常寬松的使用許可 —— 年收入總額低于 100 萬(wàn)美元（或等值當(dāng)?shù)刎泿牛┑慕M織或個(gè)人免費(fèi)用于研究、非商業(yè)和商業(yè)用途。也就是對(duì)于個(gè)人和中小公司而言，SD 3.5 的三個(gè)模型可以自由免費(fèi)商用，果然免費(fèi)開(kāi)源還是得看 Stability AI。

開(kāi)源社區(qū)里目前對(duì) SD 3.5 和 Flux Dev 的生成能力做了多次對(duì)比，在質(zhì)感細(xì)節(jié)、風(fēng)格多樣性上 SD 3.5 占有優(yōu)勢(shì)，但生成手指、腳趾、姿勢(shì)動(dòng)作時(shí)遠(yuǎn)不及 Flux 準(zhǔn)確自然。但總體來(lái)說(shuō)還是 SD 3.5 比 SDXL 和 SD 3 好很多，加上模型是開(kāi)源可商用這點(diǎn)，相信之后會(huì)和 SDXL 一樣，激發(fā)出很多高質(zhì)量的微調(diào)模型。

二、ComfyUI 本地部署

官方目前已經(jīng)在 Huggingface 上開(kāi)源了 SD 3.5 Large 和 Large Turbo 兩款模型，ComfyUI 第一時(shí)間就進(jìn)行了支持。另外 ComfyUI 官方自己還發(fā)布了一款 sd3.5_large_fp8_scaled 模型，適合低顯存（8G）用戶(hù)。下面分別介紹三款模型的基礎(chǔ)使用。

① SD 3.5 Large

模型下載： https://huggingface.co/stabilityai/stable-diffusion-3.5-large （文末有資源包與工作流）

安裝方法：

1. 將 ComfyUI 更新到最新版本；
2. 將 SD 3.5 Large 放到 comfyui 根目錄的 models/checkpoint 文件夾；
3. 下載 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors，放到 models/clip 文件夾；
4. 將 SD3.5L_example_workflow.json 工作流文件拖入 ComfyUI 界面；

工作流使用注意事項(xiàng)：

1. Large 模型適合顯存 16G 及以上的用戶(hù)。
2. SD 3.5 Large 和 Turbo 模型本身不包含文本編碼器/CLIP 權(quán)重，因此需要單獨(dú)加載。在正式生成前，注意檢查自己是否安裝比正確選擇了這些模型。
3. 圖像分辨率需要是 64 的倍數(shù)；CFG 參數(shù)推薦 4.5-5.5；采樣器 DPM++2M；生成步數(shù) 30-40。

② SD 3.5 Large Turbo

模型下載： https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo/tree/main （文末有資源包工作流）

使用方法：

1. 更新 ComfyUI，將 SD 3.5 Large Tubro 放到 comfyui 根目錄的 models/checkpoint 文件夾；
2. 下載 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors，放到 models/clip 文件夾；
3. 將 SD3.5L_Turbo_example_workflow 工作流文件拖入 ComfyUI 界面；
4. 采樣器步數(shù)改為 4，cfg 改為 1.2 -1.6，其余用法和 Large 一樣

③ SD 3.5 Large Fp8

模型下載： https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/tree/main （文末有資源包與工作流）

Fp8 模型融合了 Clip 模型，因此和普通 SD 1.5 模型的用法是一樣的，8G 顯存可用：

1. 更新 ComfyUI，下載 sd3.5_large_fp8_scaled 模型放到根目錄的 models/checkpoint 文件夾；
2. 生成步數(shù) 20，采樣器 DPM++2M。

除了以上三個(gè)模型，SAI 還將于 10 月 29 日發(fā)布 SD 3.5 Medium 模型，并且后續(xù)還將推出對(duì)應(yīng)的 Controlnet。

自 Flux dev 模型發(fā)布后，開(kāi)源社區(qū)的目光就從 SD 系列轉(zhuǎn)移到了 Flux 上，各類(lèi)微調(diào)模型迅速涌現(xiàn)，已然有后來(lái)居上的趨勢(shì)。 而此次 SD 3.5 的發(fā)布則可以視為是 SAI 發(fā)出的反攻信號(hào)，要重新奪回自己的開(kāi)源社區(qū)的領(lǐng)導(dǎo)地位。

畢竟 Flux dev 不可商用，而且對(duì)顯存要求也高，一定程度上限制了它的進(jìn)一步發(fā)展應(yīng)用。而 SD 3.5 在模型訓(xùn)練階段就為后期微調(diào)做了兼容，再加上模型質(zhì)量明顯提升、可免費(fèi)商用、消費(fèi)級(jí)硬件適用等優(yōu)勢(shì)，肯定能在開(kāi)源社區(qū)中發(fā)展、衍生出更多優(yōu)質(zhì)模型，重現(xiàn) SDXL 發(fā)布時(shí)的繁榮景象。

那么以上就是本期為大家介紹的 SD 3.5 的相關(guān)內(nèi)容，如果對(duì)你有幫助的話記得點(diǎn)贊、收藏、評(píng)論支持一波，我會(huì)有更動(dòng)力為大家推薦新的干貨內(nèi)容~

文內(nèi)的資源都可以在云盤(pán)內(nèi)下載。ComfyUI 的學(xué)習(xí)門(mén)檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開(kāi)始，它更適合初學(xué)入門(mén)，學(xué)會(huì)后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎(chǔ) AI 繪畫(huà)入門(mén)指南》是一門(mén)面向 AI 繪畫(huà)零基礎(chǔ)人群的系統(tǒng)課程，包含 Stable Diffusion WebUI 全面細(xì)致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門(mén)的 AI 繪畫(huà)工具。

想了解更多 AI 新鮮資訊的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng) 和優(yōu)設(shè)微信視頻號(hào)，每天都會(huì)分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動(dòng)態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 知識(shí)交流群”，和我及其他設(shè)計(jì)師一起交流學(xué)習(xí) AI 知識(shí)~

相關(guān)鏈接：

1. https://stability.ai/news/introducing-stable-diffusion-3-5
2. https://comfyanonymous.github.io/ComfyUI_examples/sd3/?ref=blog.comfy.org

推薦閱讀：