超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

本文是一篇關于如何使用 Stable Diffusion 繪畫的教程,包括軟件介紹和案例帶練。

在開始學之前,我想提前說一下,我所理解的 AI 繪畫的本質,就是手替,人提出方案,AI 幫你完成具體的作畫過程。

寫這篇文章的初衷,網上的 Stable Diffusion 教程太多了,但是我真正去學的時候發現,沒有找到一個對小白友好的,被各種復雜的參數、模型的專業詞匯勸退。所以在我學了之后,想出一篇這樣的教程,希望能幫助完全 0 基礎的小白入門,即使完全沒有代碼能力和手繪能力的設計師也可以學得會的教程。

受限于篇幅,這篇只介紹最基本的操作,并且會帶手把手帶大家去做一個案例出來,讓大家先把 AI 繪圖的整個流程跑通。如果反饋還不錯的話,下一篇補充一些進階的操作。

另外我還想說的是,最近 AI 的工具越來越多,尤其是 AI 繪畫,讓大家變得越來越焦慮。我個人感覺要破解這種 AI 繪畫帶來的焦慮感,第一是要去了解它背后的原理,或者說它大概能做什么了解之后就相對沒有那么焦慮了,第二是打不過就加入,讓 AI 成為你的一個工具, 同時,即使通過 AI 可以抹平大家技法上的差距,但是審美上的差距是無法用 AI 抹平的,而這個可能會變成大家能力差距的重要來源。

AI工具大對比:

一、軟件總覽

先給大家看一下我用 Stable Diffusion(以下稱 SD)畫出來的圖,可以看到畫面很細膩且用色也非常精致。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

1. AI 繪畫工具的選擇

目前市面上最流行的兩個繪圖工具 Midjourney 和 Stable Diffusion 以及他們之間的區別,具體的研發背景等信息這里不做贅述,大家可以自行百度,只說一下對于設計師更關心的五個方面。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

綜上,從我的個人角度出發,SD 在工作中落地的潛力是要大于 MJ 的,這也是我選擇學習和深入研究 SD 的原因。

2. 軟件安裝與打開

關于軟件的安裝,以及環境的部署,建議直接下載大佬們網上的整合包。這里推薦秋葉 aaaki 大佬的整合包,鏈接在這里: https://www.bilibili.com/video/BV17d4y1C73R

這里建議直接安裝大佬的一鍵整合包,極大地降低了安裝難度,對小白非常友好。

這里演示一下 Win 下如何安裝,Mac 系統的同學也可以在網上找到對應的一鍵整合包,以及顯卡不太好的同學也可以選擇云端部署,這里給大家把鏈接貼出來。大家可以自行對照視頻一步一步進行,基本沒有什么難度。

Mac 芯片: https://www.bilibili.com/video/BV1Kh4y1W7Vg

云端部署: https://www.bilibili.com/video/BV1po4y1877P/

①下載后是這兩個文件,先雙擊運行一下右邊的程序,安裝一些必要的運行環境,然后解壓左側的壓縮文件到你想要安裝的位置。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

②然后打開解壓后的文件夾,找到“A 啟動器”的 exe 文件,雙擊打開。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

③打開后如圖所示。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

④然后點擊“一鍵啟動”,稍等片刻后會自動打開這個瀏覽器界面,就可以使用了(第一次打開時會有點久)

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

3. 流程和界面介紹

這里不去介紹 sd 的實現模型,只介紹一下我們所看到的呈現模型。可以理解為,就像是在做一道菜一樣。首先準備原料(提示詞和參數),然后按照菜譜(模型)來烹飪,讓原料經歷各種處理,最后就得到了可供品嘗的美食(圖像)。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

下面是關于軟件的界面整體布局介紹,主要是由三大模塊構成的,模型,提示詞和參數,后面的章節會具體介紹一下每個模塊。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

二、模型

1. 模型分類:SD 五大模型

如前面所說,模型就像是我們做菜時所用到的菜譜。每個模型都會有自己的風格,例如二次元畫風,CG 畫風等。

在 SD 中,目前共有 5 種模型。

  1. 基礎底模型(單獨使用):checkpoint
  2. 輔助模型(配合底模使用):Embedding,lora,Hypernetwork
  3. 美化模型:VAE

對于這幾種的區別和使用方式,可以理解為基礎底模型就是烹飪中的“炒”,而輔助模型則是“爆炒,小炒”,最后美化模型則是更細節的方式,例如(鹽爆,蔥爆,油爆)等。

在 sd 中,基礎底模型必須有且只能有一種,而后面的模型則沒有限制性,可以沒有,也可以是一種或多種。

2. 模型的下載和使用

我們在下模型時,就可以看到對應的類別:這里以最常用的基礎底模型(checkpoint)和 lora 模型為例,介紹一下它們怎么使用。

①首先我們要知道下載的模型是什么類別,如果是從上面兩個網站下載的,那我們下載時就知道它的類別。如果是從其他渠道比如說別人的百度網盤鏈接,那這時,我們可以借助一個網站去獲取模型類別: https://spell.novelai.dev/

②然后,將模型文件放到對應的文件夾中。在這里,我們可以同時放一張模型的預覽圖,然后將圖片名稱改成和模型一樣,這樣后面我們調用模型時,就可以直接根據預覽圖來選擇。另外在模型的命名上,我們可以用 “/” 來對模型進行分類整理。例如一個模型是二次元相關的,就可以命名為“二次元/XXX” 。

③接下來就是模型的調用,對于基礎底模型,我們可以直接在這里選擇,如果沒有找到,點一下右邊的刷新按鈕,稍等即可。VAE 模型則是在后面的下拉框中選擇。這里可以一般采用默認的選項,然后如果出來的圖發灰,再考慮使用 Vae 模型。對于其他模型,則需要先點一下這里的 icon,然后點一下想用的模型即可,這時上面的正向提示詞輸入框會出現對應的模型,想取消調用的話,再點一下模型或者直接在輸入框中刪掉即可。對于某一些模型,還需要在正向提示詞輸入框中輸入特定的觸發詞,才可以讓模型發揮效果。

三、提示詞

提示詞也就是我們對 AI 的指令。

  1. 正向提示詞:即對畫面的描述,例如,一個女孩,月亮,吉他,沙發等
  2. 反向提示詞:指你不想在畫面中出現的元素或屬性。例如,低質量,畸形的手等

1. 基本規范

這里有兩條基本規范需要注意一下:

  1. 提示詞包括標點符號全部用英文的
  2. 單詞、短語、句子基本上是等效的。例如“1gril、sofa、sitting”與“A girl sitting on the sofa”對 SD 來說是等效的。

2. 書寫提示詞的整體思路

在給正向提示詞的時候,我們一般通過分類描述的方式來給出。具體可以分為以下三類:整體描述、主體、場景。

①整體描述

這里包括四個方面:

畫質:高畫質還是中等畫質或者低畫質,2k、或者 4k 等等

畫風:CG、二次元、真人等

鏡頭:畫面中人物的占比,半身像還是全身像

色調:冷色調或暖色調

②主體

對于人物主體的描述包括三個方面:頭部、服飾、姿勢

③頭部

這里面包括的內容和我們玩游戲時捏臉的內容差不多,具體也就是包括這些內容:

  1. 眼睛大小、顏色和形狀,鼻子大小和形狀,嘴巴大小和形狀,下巴形狀等等。
  2. 皮膚顏色和紋理:人物的皮膚顏色和紋理,例如光滑或有皺紋的皮膚等等。
  3. 面部特征細節:進一步描述人物的面部細節,例如眼睛的紋理、唇色、發色,等等。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

④服飾

包括衣服,褲子、鞋以及其他更細節的比如襪子之類的

⑤姿勢

即人物的姿勢,坐立跑等

⑥場景

基礎的場景描述一般包括三個內容:時間、地點、天氣,進階的表達可以加入一些細節,例如天空中的蝴蝶、花瓣等。

3. 提示詞的語法

僅僅有了提示詞還不夠,我們還需要知道怎么把提示詞組成 SD 可以識別的格式。

①提示詞的連接方式

  1. 不同的提示詞之間用英文逗號分隔
  2. 提示詞越靠前,權重越高,所以主體應該放在前面

②提示詞的強化/弱化方式

  1. (提示詞:權重數值)。其中這個數值的取值范圍是 0.1~100,默認是 1,小于 1 是弱化,大于 1 是強化。例如:(a girl:0.8)
  2. (提示詞)[提示詞]。提示詞外面加()表示強化,加[]表示弱化。允許套多層來增強強化或弱化的程度。例如:((a girl))

③提示詞的進階玩法

這里推薦幾個提示詞的網站。在掌握了提示詞的基本用法后,再去看這些網站就會更得心應手一些。

  1. https://prompttool.com/NovelAI
  2. https://wolfchen.top/tag/
  3. https://moonvy.com/apps/ops/
  4. http://poe.com/ChatGpt

四、參數

這里不想去說太多參數的官方解釋,而且,在初期并不是所有的參數都需要了解,所以這里直接用通俗易懂的語言來給大家介紹一下需要用到的參數是什么,以及怎么用。

1. 采樣方法

這里的原理比較復雜,筆者這里直接拋出結論:

一般情況下使用 DPM++ 2M 或 DPM++ 2M Karras 或 UniPC,想要一些變化,就用 Euler a、DPM++ SDE、DPM++ SDE Karras、DPM2 a Karras。

2. 迭代步數

這里指的是 sd 用多少步把你的描述畫出來。這里先給出結論,一般 20 到 40 步就足夠了。迭代步數每增加一步迭代,都會給 AI 更多的機會去比對提示和當前結果,并進行調整。更高的迭代步數需要更多的計算時間。但并不意味著步數越高,質量越好。

這里是相同提示詞和參數,不同迭代步數時的表現。可以看到在這組參數下,步數在 32 左右表現是最好的,從 32 到 40 提升不大,到 48 時以及出現了一些畸形,到 64 時腿部已經完全畸形了。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

3. 面部修復

根據個人喜好開關,這個對最終成像效果影響不大。

4. 平鋪圖

這個一般用不到。

5. 高分辨率修復

通俗來說,就是以重新繪制的方式對圖像進行放大,并且在放大的同時補充一些細節。

打開后,這里會出現一些子參數。

放大算法:用默認值即可。

高分迭代步數:一般選在 10~20 即可。這里還是以這個圖為例,可以看到在步數超過 20 后就開始出現了畸形。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

重繪幅度:一般是 0.5~0.8 之間。幅度過小,效果不好,幅度過大時,和原圖差異太大。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

放大倍率:這個比較好理解,就是指最終的圖原來圖的分辨率的比值。例如,默認生成的圖是 512_512,設定為 2 倍后,最終產出的圖就是 1024_1024。

6. 總批次數和單批數量

這個是指一次性出圖的數量。以搬磚為例,同樣是搬 4 塊磚,體力好的人可以一次搬 4 塊,只搬一次,對應到 SD 中,就是總批次數是 1,單批數量為 4;而體力不好的人一次只能搬一塊,需要搬 4 次,對應到 SD 中,就是總批次數是 4,單批數量為 1。一般而言,如果不是頂級顯卡,我們都會保持單批數量為 1,去改變總批次數來增加一次性出圖的數量。

7. 提示詞引導系數

最終生成的畫面和你的描述詞的趨近程度,一般設置為 7~15 之間,太高也會出現問題。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

8. 隨機數種子

隨機數種子就像在做一道菜時加入的特定調料,它可以影響整道菜的味道。在這個圖像生成方法中,隨機數種子就是一個特定的數值或代碼,可以影響最終生成的圖像的過程,就像特定的調料會影響整道菜的味道一樣。不同的隨機數種子會生成不同的圖像,就像加入不同的調料會讓同一道菜變成不同的味道。每個圖都會有它對應的隨機數種子,如果想還原這張圖,或者繪制一張相似的圖,必須保證這個值是相同的。隨機數種子不變的情況下,即使模型發生了改變,最終生成圖的大概結構和配色也會有一定相似性。就像是無論是以土豆還是以茄子作為食材,只要加入的都是甜辣醬,最終的味道是差不多的。我們可以在輸入框中輸入特定的值,以保證隨機數種子固定,否則可以點一下旁邊的骰子 icon,變成-1(-1 就指的是隨機值)使得模型采用隨機的值來生成圖像。

9. 變異隨機種子

在理解了隨機種子之后,我們再去理解變異隨機種子就更好理解了。變異隨機種子相當于又加入了第二種特定調料。而后面的變異強度就指的是兩種調料的占比,數值越大,越接近第二種。數值為 0 時,就指的是完全不用變異隨機種子。一般是用于確定了圖后,對圖生成其他相似畫面的圖像。例如,在做 ip 時,通過加入變異隨機種子,可以實現畫面內容不變的情況下,生成帶有些許差異的畫,從中選擇更優的。

我們來總結一下上面提到的重要參數。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

五、案例演示

這里以做這樣一個盲盒 IP 為例,演示一下基礎的文生圖的流程,在了解了基礎的概念后,其他的操作就相對簡單了,大家可以自行去探索。

這里先說一下做這個圖的整理思路。

  1. 風格探索與主體內容
  2. 對合適的圖進行細節補充與修復。

1. 模型下載與安裝

首先我們去 C 站下載對應的模型,以這個盲盒模型為例: https://civitai.com/models/25995/blindbox

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

從右邊模型信息,我們可以知道兩個重要的信息,這個模型的種類是 LORA 模型,以及它的觸發詞是 full body, chibi。這里補充一下,所謂觸發詞指的就是,只有在將觸發詞加入到正向提示語的輸入框中,才能觸發這個 Lora 模型的效果。前面我們講過,LORA 模型是一種輔助模型,需要配合基礎底模型來使用。這里我們一般也推薦使用作者示例圖中所使用的基礎底模型。點開一個示例圖,這里就是示例圖的信息,包括基礎底模型,提示語,以及參數。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

這里作者也貼心得給出了對應資源的下載鏈接: https://civitai.com/models/7371?modelVersionId=46846

我們將兩個模型下載好后,分別放到對應的文件夾中。

基礎底模型(checkpoint)的文件夾是“novelai-wvebui 一鍵包/novelai-webui-aki-v4/models/Stable-diffusion”,lora 模型的文件夾是“novelai-wvebui 一鍵包/novelai-webui-aki-v4/models/lora”

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

這里有兩個小技巧:

  1. 在 Lora 中新建一個文件夾,改為盲盒,對模型進行一個分類管理。
  2. 保存模型時,再下載一張示例圖,并將名稱改成和 Lora 模型一樣,然后將圖片模型文件旁邊,這樣在 SD 界面,就可以預覽模型效果。

接下來,打開 web ui 界面,點擊模型后的刷新按鈕。并將左上角的第一個下拉框選擇到對應的模型。其中,Lora 模型是默認隱藏的,需要點一下生成按鈕下的第三個 icon 才會顯示。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

到這里,我們完成了模型的下載和基礎底模型的調用。

2. 提示詞的書寫

對于新手,建議先從模仿開始,這里還是打開 C 站盲盒模型的頁面,然后點擊示例圖,可以看到包括提示詞在內的各種信息。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

然后,我們把提示詞復制下來,對于英文不好的小伙伴可以直接復制到翻譯工具中。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

接下來, 我們對這段關鍵詞做一個簡單的分析拆解:

整體描述:(杰作),(最好的質量),(超細節),(全身:1.2),(美麗的細節臉),(美麗的細節眼睛),

觸發詞:chibi

人物&場景:一個女孩,可愛,微笑,張開嘴,花,戶外,彈吉他,音樂,貝雷帽,拿著吉他,夾克,腮紅,樹,襯衫,短發,櫻花,綠色頭飾,模糊,棕色頭發,腮紅貼紙,長袖,劉海,耳機,黑色頭發,粉紅色的花

我們可以直接復用整體描述的部分,將這部分復制到正向提示詞輸入框中。然后對后面的人物和場景部分重寫。

這里用到我們之前介紹過的書寫提示詞中人物和場景的技巧:「眼睛,皮膚、頭發、服飾、姿勢、時間、地點」,按著這個順序對畫面描述如下:

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

將英文復制到正向提示詞中,接下來,我們點擊一下盲盒的 Lora 模型,正向提示詞部分就多了一句,這句話就表示對 lora 模型的調用。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

最后一步,將示例圖的負向提示詞也復制到我們的 SD 中,就得到了如圖所示的最終的提示詞。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

3. 參數設置

參數設置這里,采樣方式、采樣迭代步數和提示詞引導系數三個參數建議設置成和 Lora 模型示例圖一致的參數,這樣能比較好地發揮 Lora 模型的效果。然后,作為我們前期探索風格的階段,總批次數和單批數量可以設置成 9 和 1,隨機種子設置成-1,這樣一次性會產出 9 張不同的圖,方便我們選擇。高分辨率修復在前期不建議打開,可以在圖的內容確定后再打開,進行細節優化。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

設置好參數后,點擊生成。這里由于是隨機的,所以生成的圖像會和我這里不一樣,但是整體的畫面都是很相似的。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

可以看到,整體圖片的風格已經比較滿意了,除了手的部分還有些問題。接下來,就可以選擇一張最滿意的,去補充和修復細節了,這里就以第 6 張圖為例,大家可以選一張自己喜歡的。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

我們接下來要做的是這三件事:

  1. 固定這張畫面,保證下一張畫是在這個基礎上完成的
  2. 補充畫面的細節和提高分辨率
  3. 修復手的部分。

首先是第一步固定畫面,前面我們講過,每個圖都會有它對應的隨機種子,如果想還原這張圖,或者繪制一張相似的圖,必須保證這個值是相同的。所以,我們需要把找到這張圖的 seed 值,填入參數欄中的隨機數種子輸入框中。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

下一步是對畫面進行細節補充,這一步我們會用到高分辨率修復的參數,先選中第 6 張圖,然后根據前面的知識,把高清修復采樣次數調整到 15,重繪幅度調整到 0.6。注意,這一步把總批次數和單批數量調整到 1,否則還是會一次性生成 9 張圖,會需要較長的時間。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

最后一步,我們去修復手的問題,這里我們采用補充反向提示詞的方式來完成。這里依然用有道翻譯:

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

將英文翻譯填入反向提示詞中后,我們點擊生成,就可以得到這么一張效果還算不錯的圖了。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

這只是一個簡單的例子,里面用到的提示詞并不多,我們可以繼續加入提示詞來豐富畫面,提升細節,例如加入光效描述到正向提示詞中。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

生成的圖像如下,可以看到又增加了一些光感,整體細節和品質又提升了一些。這里僅僅以此為范例,大家可以去增加自己想要的各種提示詞來生成自己想要的圖。

超簡單!教你零基礎入門AI繪畫神器Stable Diffusion

文章最后再給大家推薦?5 個我認為非常優質的模型:

  1. https://civitai.com/models/9409/or-anything-v5
  2. https://civitai.com/models/12597/moxin
  3. https://civitai.com/models/18323/xiaorenshu
  4. https://civitai.com/models/6755/cetus-mix
  5. https://civitai.com/models/7240/meinamix

收藏 798
點贊 199

復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。