SD XL 1.0 重磅更新！免費開源可商用（附在線使用+本地部署教程）

大家好，這里是和你們一起探索 AI 繪畫的花生~

7 月 26 日，Stability AI 發布了 Stable Diffusion XL 1.0 模型，它在圖像生成質量上有了極大的提升，并且模型是開源的，圖像可免費商用，所以一經發布就收到了廣泛的關注，今天我們就一起了解一下 SDXL 1.0 的圖像生成質量、在線使用途徑及本地部署方法。

了解 Stability AI 研發的其他模型：

一、SDXL 1.0 模型簡介

Stable Diffusion XL 是在 Stability AI 在今年 4 月份推出的新模型，訓練參數是之前 Stable Diffusion v2.1 的 2.5 倍，其生成的圖像在美學程度和質量上有了很大的改進。Stability AI 在今年 6 月底更新了 SDXL 0.9, 并在一個月后更新出 SDXL 1.0，足以看出其對 XL 系列模型的重視。

了解 Stable Diffusion XL：

據官方介紹，SDXL 1.0 相比之前的模型，優勢主要體現在以下幾個方面：

1. 可以直接根據文本生成生成任何藝術風格的高質量圖像，無需其他訓練模型輔助，寫實類的表現是目前所有開源文生圖模型里最好的。
2. 依據簡單的提示詞就能生成復雜、精致且美觀的圖像，不再需要調用“masterpiece”“best quality”等詞語。
3. 可直接生成 1024x1024 的圖像，色彩也更鮮艷、準確，在對比度、光照和陰影的處理上也比之前要好很多。
4. 在文本、物體空間排列、手部等內容的處理上表現很好。
5. 可以理解“The Red Square”（著名地點）與“red square”（形狀）等概念之間的差異。

官方放出的 SDXL 1.0 生成的圖像

今年 4 月份的時候，我做過一份 6 大在線 AI 繪畫工具的出圖效果對比，當時的 Stable Diffusion v2.1 與 Midjourney v5 模型在圖像質量上有非常明顯的差距。如今過去了 4 個月，Midjourney 已經是 v5.2 版本了，Stable Diffusion 也更新到了 XL 1.0，我用與之前一樣的提示詞再次進行測試，下面是對比結果，可以看出 SDXL 的圖像生成質量與原來的 v2.1 相比進步明顯，與 Midjourney 的差距也明顯縮小。

A beautiful landscape shot with the sun setting on a calm lake, lush forestssnow-capped mountains in the distance, professional photography,

一個美麗的風景拍攝與太陽落在一個平靜的湖，郁郁蔥蔥的森林雪山在遠處，專業攝影

a hyper-real photo portrait of an experienced female designer, half-length, Light grey background

一位經驗豐富的女設計師的超現實肖像照片，半身，淺灰色背景

A happy boy in a short-sleeved tracksuit, sunny, basketball court in the background, anime illustration, bright color -

一個穿著短袖運動服的快樂男孩，陽光明媚，背景是籃球場，動漫插畫，色彩鮮艷

A lovely little princess, with black long wavy hair, wearing a gorgeous blue dress, happyand smiling, POP mart IP, chibi, Disney style, surrounded by sunflowers, bright drea"mycolours, front lighting, 3d render, blender

可愛的小公主，黑色波浪長發，身穿華麗的藍色連衣裙，開心地微笑著，POP mart IP，Chibi，周圍是向日葵，明亮的顏色，3d 渲染，Blender

Flat illustration of A fit woman Jogging, plants, Professional Fitness, minimalist, pure white background, Ul/UX, Vibrant color

一個適合女人慢跑的平面插圖，植物，專業健身，極簡主義，純白色背景，Ul/UX，鮮艷的顏色

Magnificent ancient Chinese complex, floating in the clouds, wide-angle panoramaoverhead shot, story splitting, a strong sense of space, flocks of flying cranes, waterfall, blooming peach blossoms, bright color, game concept design,high quality, 8k, masterpiece

氣勢恢宏的中國古代建筑群，漂浮在云中，廣角全景俯視拍攝，故事分裂，空間感強，成群的飛鶴，瀑布，盛開的桃花，鮮艷的色彩，游戲概念設計，高品質，8k，杰作

此外，Stability AI 還特別強調了 SDXL 1.0 在 Fine-tuning （微調）上能力的提升，這意味這我們可以在 SDXL 1.0 基礎上，更輕松地訓練出不同風格的 checkpoint 及 lora 模型，而無需額外的數據整理。Stability AI 團隊也正在構建專門用于 SDXL 模型的 ControlNet/ T2I 控件，inpainting、outpainting、mask 等功能等成熟會后也會更新出來。

SDXL 模型將來也會有適配的 controlnet 插件

知名開源 AI 繪畫模型社區 Civitai 最近也開啟了專門針對 SDXL 的模型訓練比賽，也就是未來會有更多基于 SDXL 的高質量 checkpiont、lora 模型可以供廣大 AI 繪畫愛好者使用，這對開源 AI 繪畫的生態升級及整體發展都是重大利好。

Civitai 比賽鏈接： https://civitai.com/articles/1462

二、在線使用 SDXL 1.0

目前我們有三種方式可以免費在線使用 SDXL 1.0 生成圖像：Stability AI 官方 Discord 服務器、Stability AI 官方在線 AI 繪畫工具 DreamStudio，以及 Stability AI 旗下的在線 AI 圖像處理工具 Clipdrop。

1. Discord 服務器

SD XL1.0 Discord 服務器： https://discord.com/invite/CDNvxYeM
點擊上方鏈接加入 SD XL1.0 官方服務器，點擊“SDXL BETA BOT”內的任一頻道，在文本框內輸入 /Dream，再輸入文本提示詞，按 Enter 發生出去就可以了。文生圖功能目前可以免費使用，但是會有使用頻率限制，受限時可以等待片刻或者換另一個頻道嘗試。

2. Dreamstudio

網站直達： https://dreamstudio.ai/generate

DreamStudio 是 Stability AI 的官方應用，目前已經內置了最新的 SD XL1.0 模型。里面的可選功能很多，可以填寫負面提示詞、使用圖像提示、設置畫面橫縱比、生成步數等，新用戶有 200 點免費生成額度。

3. Clipdrop

網站直達： https://clipdrop.co/stable-diffusion

Clipdrop 是 Stability AI 收購的一家在線 AI 圖像處理工具，現在也內置了最新的 SDXL 1.0 模型，并且新增了畫面橫縱比和負面提示詞 2 項功能。生成服務也是可以免費使用的，但是圖像右下角會有 Clipdrop 的水印。

三、本地部署 SDXL 1.0

SDXL 1.0 的源文件已經在 Huggingface 上開源了，我們可以通過 Stable Diffusion WebUI 在本地免費使用 SDXL 1.0，具體操作步驟如下。

①將 Web 更新到 1.5 版本，版本號在 WebUI 最底部的一行小字中可以查看，秋葉整合包可以直接在啟動器內更新。

②如果你的電腦顯存小于等于 8G，則在使用前需要開啟顯存優化，不然顯存會帶不動 SDXL 1.0。如果是秋葉整合包，可以在啟動器的「高級選項」設置內開啟。如果是 Automatic1111 純凈版，請編輯 webui-user.bat 文件，在 set COMMANDLINE_ARGS= 后面加上以下參數：--medvram（顯存低于 8G ）或 --lowvram （顯存低于 4G）。

③下載 2 個大模型、1 個 Lora 模型和 1 個 Vae 模型。大模型安裝到根目錄的 models\Stable-diffusion 文件夾，Lora 模型安裝到 models\Lora 文件夾，Vae 模型安裝到 models\VAE 文件夾（文末有資源包）。

1. 基礎大模型和 lora 模型：stabilityai/stable-diffusion-xl-base-1.0 at main
2. 精修大模型：stabilityai/stable-diffusion-xl-refiner-1.0 at main
3. Vae 模型：stabilityai/sdxl-vae at main

④以上參數和模型都設置好后，就可以啟動 WebUI，進入文生圖界面，對應參數設置如下。不需要開啟高清修復，也不要啟用任何拓展/插件/腳本。

參考數值：

1. 大模型：sd_xl_base_1.0_0.9vae.safetensors (啟用后會有很多 lora、embedding 模型失效，切換回其他大模型后會自動恢復)
2. 外掛 Vae：sdxl_vae.safetensors
3. CLIP 終止層數：1
4. 正向提示詞：a girl walking on the beach,hair flowing, sea and sunset, realistic photography, High detail, ,8K, sharp focus, （記得使用前面下載好的 lora 模型，l 權重建議設在 0.3 左右）
5. 負向提示詞：(worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) watermark, moles, nsfw,Cleavage
6. CFG scale: 7
7. 步數：30
8. 采樣方式：DPM++ 2M Karras（任選，不支持 DDIM/PLMS/UniPC 采樣器）
9. 尺寸：1024*1024

⑤圖像生成后，直接發送到“圖生圖”版塊，并做出以下修改，其他不變，點擊「生成」按鈕，最終圖像會比原圖更清晰銳利。

1. 將大模型修改為 sd_xl_refiner_1.0_0.9vae.safetensors
2. 外掛 Vae：sdxl_vae.safetensors
3. 刪除正向提示詞中的 <lora:offset_0.2:0.3>”
4. 采樣方式：DPM++ 2M Karras
5. 重繪幅度 0.1-0.3 之間

如果在精修過程中出現如下報錯：

NansException: A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.

請關閉 WebUI，回到啟動器，在「高級選項」內，關閉 “VAE 模型半精度優化”和“數值溢出檢查”。再回到 WebUI 重新開始圖生圖操作，精修過程就可以正常進行了。

最終效果圖：

以上就是本期為大家介紹的最新開源文生圖模型 SDXL 1.0 的相關內容，它的圖像生成質量極高，且素材可以免費商用，部署到本地后可以無限制生成高質量的圖像，非常值得一試。喜歡本期推薦的話記得點贊收藏支持一波，之后會繼續為大家推薦更多 AI 繪畫干貨。有關于本文或者設計的問題可以在評論區提出 ，我會第一時間回復。

也歡迎大家掃描下方的二維碼加入“優設 AI 繪畫交流群”，和我及其他設計師一起交流學習 AI 知識~

參考資料：

1. ANNOUNCING SDXL 1.0 — Stability AI --- 宣布推出 SDXL 1.0 — 穩定性 AI
2. SDXL1.0 下載發布，生態可期！AIGC 慢周刊 Vol.03@20230727 | AIGC 慢周刊 (zhubai.love)
3. SDXL1.0 下載公布,本機部署教學-A1111+comfyui，共用模型，隨意切換|SDXL SD1.5 對比優劣_嗶哩嗶哩_bilibili
4. SDXL 1.0 in A1111 - Everything you NEED to know + Common Errors! - YouTube

推薦閱讀：