Stable Diffusion ComfyUI 基礎教程（七）如何使用三大微調模型：Embeddings、Lora、Hypernetwork

前言：

在我們繪圖過程中我們用到了 Checkpoint 模型和 VAE 模型，但是還有另外三種可以輔助我們出圖的模型沒有給大家介紹，他們分別是 Embeddings（嵌入）、Lora（低秩適應模型）、Hypernetwork（超網絡）這三種模型；

在開始講解這三個模型之前我們一定要記住不止 Checkpoint（大模型）分 SD1.4、SD1.5、SDXL1.0 等基礎算法型號，這三個模型同樣也分，我們在使用時要選擇對應基礎算法型號才能正常使用。

今天我們就講講這三種模型分別是什么原理、有什么作用和怎么使 用。

往期文章：

一、Embeddings

1. 原理介紹（如果只想知道怎么使用可以跳過原理介紹這段）：

①Embeddings 翻譯成中文就是“嵌入”，他在深度學習領域通常指的是“嵌入式向量”，這些向量是高維空間中的點，能夠代表輸入數據（如文本或圖像）的關鍵特征。

②我們輸入的關鍵詞能被識別，正是因為 Text Encoder 將自然語意的 Prompt 轉成了數值向量，這些數值向量他們不僅包含數值信息，還包含數據之間的關系和結構信息。

③想象一下，你正在向別人描述獨角獸長什么樣，你可能會說‘它像馬，有白色的毛發，前額上有一只角’。即使對方從未見過獨角獸，通過這些關鍵描述，他們也能在腦海中形成一個獨角獸的形象。在深度學習中，Embeddings 模型的作用類似于這種描述。當我們給計算機系統輸入一個詞，比如‘獨角獸’，Embeddings 模型會生成一個數值向量，這個向量包含了與‘獨角獸’相關的所有關鍵特征。這樣，即使計算機系統‘沒見過’獨角獸，它也能通過這個向量理解‘獨角獸’這個是什么。

④通過上面的例子可以看出他只是在描述什么是“獨角獸”，并將其轉換成一種數值表示形式，并不直接參與繪畫。所以他沒有改變大模型的權重參數，也就只能用來固定元素或畫面特征，這也是他的局限性。

2. 安裝位置：

①我們在部份模型下載網站很有可能看不到 Embeddings 模型，但是他會以 Textual Inversion（文本倒置）這個名字出現，他們是同一個東西（下圖是 C 站和 LibLib 的篩選框）。

②模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\embeddings”目錄下，如果你是和 Web UI 共用的模型，那就放在“sd-webui\embeddings”目錄下。

3. 作用及如何使用：

①此模型通常用來嵌入元素特征（比如人物特征）、負面信息（用來減少圖的崩壞幾率）

②使用 Embeddings 模型我們只需要在提示詞輸入框輸入他的“觸發詞”就可以，一般我們在下載模型的時候會看到作者給出的觸發詞。

③是不是輸入觸發詞比較麻煩，我們需要記住每個模型的觸發詞。我們可以通過一個插件去選擇 Embeddings 模型，還記得我第一節課給大家推薦的“小瑞士軍刀美化輔助（ComfyUI-Custom-Scripts）”插件嗎，在輸入框輸入“embeddings”中的任意一個字母或“模型名稱的任意一個字母”即可在彈窗中選擇模型，并且點擊模型右側的“??”還可以查看模型的相關信息及 C 站跳轉鏈接。

④我們用《電鋸人》中 Makima 的 Embeddings 模型來對比一下不使用和使用的效果（相同關鍵詞和種子下，上/左圖：未使用，下/右圖：使用）

⑤很明顯的看出下面這張圖帶有 Makima 的特征，當然和真正的 Makima 還是有一定區別的，要想讓圖像更加符合人物特征還是要用 Lora 模型。

⑥我們用的最多的還是用來解決 AI 不會畫手或肢體錯亂，顏色混雜等痛點，這時候就有大佬整合一些 AI 畫錯了的圖像（比如：六指，畸形的圖像，三條腿......），訓練成了 Embeddings 模型也叫 Negative Embeddings（負面詞嵌入）模型，我們只需要把他輸入到負向關鍵詞里面，在繪圖時讓他禁止繪制此類案例就可以了。

⑦常用的 Negative Embeddings（負面詞嵌入）模型：

a. SD1.5：badhandv4、EasyNegative、ng_deepnegative_v1_75t

b. SDXL1.0：unaestheticXL_AYv1

⑧我們來看一下效果（相同關鍵詞和種子下，上圖：未使用，下圖：使用），我們很明顯的看出有一定的效果

⑨當然加了 Embeddings 也并不意味著就能解決這些問題，它只是提高了生成好圖片的概率，但是總比不加時效果好了很多。

⑩在使用 Embeddings 模型時，我們可以多個 Embeddings 模型 進行組合使用，會讓我們得到意想不到的效果；

?常用的 Embeddings 模型我也會放在本節課的文件里面，比如對年齡、性別的控制模型。

二、Lora

1. 原理介紹（如果只想知道怎么使用可以跳過原理介紹這段）：

①LoRA：Low-Rank Adaptation Models（低秩適應模型），他的核心思想是在不顯著改變原有模型結構的情況下，通過添加一些額外的、低秩（即簡化的）矩陣來調整模型的權重，從而提升模型的性能或適應性。

②在微調 Stable Diffusion 模型的情況下，相較于大模型的 Dreambooth（訓練方法，輸出 Checkpoint 模型）的全面微調模型方法，Lora 的訓練參數可以減少很多倍，對硬件性能的要求也降低很多。

③想象一下你有一輛車，這輛車已經可以滿足你的日常需求，比如上班通勤。但有一天，你決定參加一場越野賽車比賽。你知道你的車在原有狀態下無法應對越野賽的挑戰，但你也不想換一輛新車。這時，你可以選擇對你的車進行一些改裝，比如換上越野輪胎、增強懸掛系統，這樣你的車就能適應越野賽的環境。

④在這個例子中，你的原始車輛就像是一個已經訓練好的神經網絡模型，它在大多數情況下都能很好地工作。然而，當面對新的或特殊的任務（比如越野賽）時，它可能需要一些調整才能更好地適應。LoRA（Low-Rank Adaptation）模型的作用就像是對車輛進行的這些特定改裝。通過在原有模型上添加低秩矩陣（相當于對車輛的特定部分進行改裝），我們可以使模型更好地適應新的任務，而不需要完全重新設計或訓練一個新模型。

2. 安裝位置：

模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\loras”目錄下，如果你是和 Web UI 共用的模型，那就放在“sd-webui\models\Lora”目錄下。

3. 作用及如何使用：

①通常 Lora 模型用來指定目標特征（比如：人物、動作、年齡、服裝、材質、視角、風格等）；

②在使用上比較簡單，“右鍵-新建節點-加載器-LoRA 加載器”；

③看到這個節點我們應該能猜到怎么連接吧，左側的“模型/CLIP”和“Checkpoint 加載器”連接，右側的“模型/CLIP”分別和“K 采樣器”、“CLIP 文本編碼器”連接。

④這時候我們會發現個問題，有兩個“CLIP 文本編碼器”（正向和負向）啊，我們連哪個，還是都連。經過測試只對正向關鍵詞有效果，也就是說，我們可以兩個都連接，也可以只連正向關鍵詞對應的“CLIP 文本編碼器”。

⑤我們選擇個 Lora 模型 試一下效果，我以原神中的角色 芭芭拉 為例：

⑥是不是知道怎么使用了，但是我們在 Web UI 上可以設置 Lora 模型 的權重和使用多個 Lora 模型對吧，一個個來說，我們先說怎么設置權重；

⑦在“LoRA 加載器”節點上除了選擇模型外是不是還有兩個可以設置參數的地方，模型強度、CLIP 強度。至于我們設置哪個參數能達到控制權重的效果，完全取決于模型的訓練方式。所以我們在不知道受哪個參數影響的情況下，我們可以對兩個參數都進行調節，而 Web UI 上是把兩個參數整合在一起了。

⑧至于多個 Lora 模型那就更簡單了，我們在這個“LoRa 模型加載器”后面再連一個就可以了；

⑨是不是已經學會了怎么使用 Lora 模型了，但是我們使用多個 Lora 模型 的時候就會讓流程圖更復雜、更亂，調節權重也比較麻煩，我們可以使用一個插件幫我們解決。

⑩efficiency-nodes-comfyui（效率節點）： https://github.com/jags111/efficiency-nodes-comfyui.git

?我們先看一下怎么使用，直接把三個節點都加載出來“右鍵-新建節點-效率節點-堆棧- LoRA 堆”、“右鍵-新建節點-效率節點-效率加載器”、“右鍵-新建節點-效率節點-采樣-K 采樣器（效率）”。

?先看“LoRA 堆”節點我們可以看到有三類可調節的地方；

a. 輸入模式：和控制權重有關，在這個節點我們可以通過調節一個參數就能控制權重了，如果我們把輸入模式改為高級，Lora 權重就會分成模型強度、CLIP 強度；

b. Lora 數量：用來調節我們使用幾個 Lora 模型的，當前數值是 3，我們就有三個 Lora 可選；

c. Lora 選擇和權重就不用說了吧。

?效率加載器，我們需要操作的地方有：大模型選擇、VAE 模型選擇、Lora 模型（不使用選無，如果只使用一個就可以在這個節點選擇，多個情況下就使用我們上面說的 Lora 堆節點）、正反提示詞、寬高、批次；

?K 采樣器基本上一樣，沒什么大的區別。

?是不是在這三個節點上就很明顯的看出減少了很多的連接，我還是以芭芭拉和冰箱貼紙兩個 Lora 為例進行連接；

?是不是簡單了很多，這個插件可不止用來幫我們解決 Lora 模型的連接的問題，他能幫我們簡化很多節點的連接，包括我們下節課要講的多個 ControlNet 使用，也能減少連接步驟。

三、Hypernetwork

1. 原理介紹（如果只想知道怎么使用可以跳過原理介紹這段）：

①這個，，，現在用的很少了，我們簡單說一下。Hypernetwork 也叫超網絡，他的原理是在擴散模型的基礎上新建一個神經網絡來調整模型參數，就是因為這個原因才叫做超網絡模型。

②他在效果上和 Lora 類似，但是因為訓練難度大，應用范圍小，所以逐漸被 Lora 替代。

2. 安裝位置

模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\hypernetworks”目錄下，如果你是和 Web UI 共用的模型，那就放在“sd-webui\models\hypernetworks”目錄下。

3. 作用及如何使用：

①大多用來控制圖像風格；

②在使用上他和 Lora 有些類似，“右鍵-新建節點-加載器-超網絡加載器”；

③可以看到，“超網絡加載器”相比“LoRa 加載器”少了 CLIP 的連接，我們只把他串聯在“Checkpoint 加載器”和“K 采樣器”之間就可以。

④下面我使用一個 Chibi 風格（日語中翻譯為小矮子、小家伙）的超網絡模型演示一下（相同關鍵詞和種子下，上/左圖：未使用，下/右圖：使用）。

總結

1. 這節課十分的簡單，我們每一個微調模型都能多個疊加使用，并且這三類可以同時使用；
2. 雖然給大家介紹了“效率節點”，但是他不是萬能的，我們搭建一個復雜的工作流還是需要了解出圖的邏輯。