Stable Diffusion ComfyUI 基礎教程（八）：如何使用 Controlnet

一、前言

終于到了最激動人心的時刻，我們使用 Stable Diffusion 最重要的就是他的可控性，其中 Controlnet（控制網絡）的作用居功至偉，它可以引入更多的條件來讓我們出圖更加可控。

往期回顧：

在最開始之前我們需要安裝 Controlnet 預處理器插件以及下載 Controlnet 模型：

①Controlnet 預處理器插件：

1. 插件地址： https://github.com/Fannovel16/comfyui_controlnet_aux.git
2. 如果安裝后，運行 ComfyUI 顯示無法導入插件
3. 請運行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目錄下的“install.bat”文件

②Controlnet 模型：

1. 常用模型我會放在本節課文件鏈接里面；
2. 模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\controlnet”目錄下，如果你是和 Web UI 共用的模型，那就要看你第一節課設置的是插件下的還是 "models" 下的位置了。

一、創建流程

1. 需要有哪些操作：

①為了能讓大家更直觀的了解使用 Controlnet 需要有哪些操作，我先以 Web UI 上的 Controlnet 為例：

②我們可以看到在使用 Controlnet 插件時，需要我們加載圖像、選擇預處理器、加載 Controlnet 模型，以及控制權重、控制引導介入時機、控制引導終止時機；

③好了，開始正題，我們還是以“萬能的文生圖”為基礎，先打開“文生圖基礎流程”，我們這個基礎上把 Controlnet 流程加進去。

2. 預處理器：

①Controlnet 預處理器分有很多，比如：線條、面部與姿態、法向與深度、語義分割、顏色、Tile 平鋪等多個類型，并且每個類型又有多個預處理器，我們先以線條中的 Canny 細致線預處理器為例，后面我會分別介紹他們有什么作用，以及怎么使用；

②先“右鍵-新建節點-圖像-加載圖像”去加載圖像，這個應該都會了吧。然后我們再去選擇 Controlnet 預處理器，“右鍵-新建節點-Controlnet 預處理器-線條-Canny 細致線預處理器”

③這一步是我們預處理器最重要的地方，我們可以把“加載圖像”與“預處理器進行連接”，并且在右側連接一個“預覽圖像”，然后跑一下，看看效果。

④可以看到，我們的圖片已經被處理成黑底白色的線稿，這個線稿就是我們使用 Controlnet 之前的必備條件；

⑤當然，如果我們有已經處理好的圖片，我們就可以省略“預處理器”這一步，直接進行下一步就可以了。

3. Controlnet：

①圖片已經處理好了，我們這時候就需要去加載選擇 Controlnet 模型的節點，以及用來進行權重控制的節點；

② “右鍵-新建節點-Controlnet 加載器”

③ “右鍵-新建節點-條件-Controlnet 應用”，這時候我們會看到兩個 Controlnet 應用節點，分別是 Controlnet 應用、Controlnet 應用（高級）：

1. 強度：就是我們用來控制權重的，還記得上節課 Lora 權重的控制嗎，是一個意思；
2. 開始時間：我們在繪圖時，Controlnet 什么時候進行控制；
3. 結束時間：我們在繪圖時，Controlnet 什么時候結束控制；

④相比較，Controlnet 應用只能用來控制權重，開始/結束時間采用默認 0/1。另外 Controlnet 應用（高級）需要去連接負面關鍵詞。我們根據自己的使用選擇就可以，我一般使用 Controlnet 應用（高級）；

4. 工作流：

①我們使用 Controlnet 所需要的節點都已經加載出來了，我們把他們連接起來，并添加到“文生圖基礎流程”中；

②我們把“預處理器”處理好的圖像以及“Controlnet 加載器”分別連接到“Controlnet 應用”；

③選擇 Controlnet 模型，這時候我們一定要選擇對應功能、對應版本的模型：

1. 比如我們用的 Canny 預處理器，那我們就要選擇 Canny 的 Controlnet 模型（我會在挨個介紹預處理器的時候給大家講解，他們分別對應哪些模型）；
2. 我們出圖采用的是 SD1.5 的大模型，那我們就要去選擇 SD1.5 的 Controlnet 模型；
3. 我給大家演示是用的 SD1.5 的大模型，那我就選擇了“control_v11p_sd15_canny”這個模型。

④“正/反 CLIP 文本編碼器”連接“Controlnet 應用”，“Controlnet 應用”連接“K 采樣器”

⑤我們可以看到我通過一個二次元大模型以及關鍵詞控制后，得到一張相同細節的二次元圖像。

5. 多個 Controlnet 如何連接：

大家學習 ComfyUI 有段時間了，應該能猜到多個 Controlnet 怎么連接吧，我們在“Controlnet 應用”后面再串聯個“Controlnet 應用”就可以了，其余的該連 Controlnet 模型的連模型，該連 Controlnet 預處理器的連預處理器。

三、后續課程規劃

到這我們的 ComfyUI 基礎教程就已經結束，在接下來的課程中我會帶給大家帶來更精深的課程，比如：

1. Controlnet 各種預處理器以及模型的詳細講解；
2. 如何使用“LCM模型&Turbo模型”進行快速出圖和實時繪圖；
3. 如何使用 AnimateDiff 插件生成視頻動畫；
4. 如何使用 Stable Video Diffusion 模型進行圖生視頻；
5. 如何使用 Stable Zero 123 模型生成多角度圖像并生成視頻。

更多的課程還在規劃中，大家敬請期待！