前言:
- 上節課我們學習了文生圖的基礎流程,接下來我們玩個復雜的,把 refiner 模型串聯進去。
- 那我們想一下,refiner 模型的工作流程是什么樣的呢,使用 refiner 模型的時候我們比基礎流程多了哪些操作呢?
- 是通過 base 模型繪制一部分后,然后使用 refiner 模型進行繪制。多了 refiner 模型加載器,多了 refiner 模型切換時機。
上期回顧:
加載 refiner 模型:
我們先把上節課的流程打開,在空白地方(文生圖下方就可以,不要太遠)添加一個 Checkpoint 加載器,也可以用上節課,課后知識點中的方法復制粘貼一個,然后把模型改成 refiner 模型。
關鍵詞輸入:
①既然有了模型,那我們就需要去連接關鍵詞了,畢竟 refiner 細化也需要關鍵詞作為基礎的,我們說過,作為輸入是不能被多個連接的,也就是說我們不能讓 refiner 去連接正、反關鍵詞。我們如果再去添加一組 CLIP 文本編碼器的話就需要每次出圖時輸入兩次關鍵詞了。有沒有辦法讓我們只輸入一次關鍵詞就能被兩個模型使用嗎,當然有。
②我們先在原來的“ CLIP 文本編碼器”上“右鍵——轉換文本為輸入”(意思就是我們把下面的文本輸入框轉換成了文本節點,把其他節點上輸入的內容傳到“ CLIP文本編碼器”上。)
③我們“右鍵——新建節點——實用工具——Primitive元節點”作為輸入關鍵詞的節點。
④現在我們是不是并沒看到可以在這個節點上輸入文本的地方,別著急,我們把“CLIP 文本編碼器上的文本”和“Primitive 元節點”連接,這時候我們就看到之前在“CLIP 文本編碼器”上輸入的內容出現在了“Primitive 元節點”上,并且還能修改。
⑤“Primitive 元節點”作為一個輸出項,我們可以讓他再去連接一組“CLIP 文本編碼器”了。復制一下這兩個“CLIP 文本編碼器”去連接 refiner 模型。(為了好區分我給每個模塊給了顏色及名字)
K 采樣器(高級):
①我們補充一個關于采樣器的知識點,上節課也看到了,我們在選擇采樣器的時候是有兩個采樣器的。“K 采樣器”和“K 采樣器(高級)”。既然我放在這節課講,那肯定會用在 SDXL 流程中了,沒錯,是的。
②我們對比一下可以看到高級采樣器多了“添加噪波、開始降噪步數、結束降噪步數、返回噪波”,少了“降噪”。我挨個來講一下都是什么意思,
a. 添加噪波:用來控制是否要生成隨機種子,(和固定種子不一樣,因為我們我們使用 refiner 模型細化是需要使用兩次采樣器的,我們不可能每一次出圖都設置一個固定種子)。base 模型所連接的采樣器,我們選擇打開添加噪波(enable),refiner 模型連接的采樣器我們就需要關掉了(disable);
b. 開始降噪步數/結束降噪部署:我們從第幾步開始降噪/第幾步結束降噪,作為 base 模型連接的采樣器我們肯定從第 0 步就開始降噪啊。但是對于 refiner 模型連接的采樣器來說,他的開始步數就要和 base 模型的結束步數相對應(比如:總步數 60 步,base 模型的結束步數是 50,那 refiner 模型的開始步數就是 50)。對于 refiner 模型來說,他的結束步數就不用設置了,因為我們有總步數在控制結束步數,讓他默認就可以;
c. 返回噪波:就是把隨機種子返回到下一個采樣器,我們需要把 base 模型連接的采樣器的返回噪波打開,refiner 模型連接采樣器的返回噪波關閉;
d. 降噪:降噪這個功能是和開始降噪步數相同的,0.1 就是我們上方輸入的總步數的 10%(總步數 60 為例,也就是只迭代 6 步),對應的是開始降噪步數的 54 這個數值。
③我們把他們連接起來,尺寸設置我們連接一次就好,至于 refiner 采樣器的“Latent”就需要和 base 采樣器所輸出的“Latent”連接在一起了。
VAE 解碼及保存圖像:
①接下來我們就把 VAE 解碼和保存圖像連接起來,VAE 解碼直接和 refiner 采樣器連接就可以,至于連接的 VAE 模型,我們可以連接任何一個大模型的 VAE,也可以去通過“VAE 加載器”加載一個(我這里是用加載器另外加載了一個)。
②所有的都連接完了,我們跑一下看一看有沒有報錯。
③我們如果想看一下 base 模型連接的采樣器出的圖是什么樣的話,我們直接在采樣器 base 采樣器后面再連接一個“VAE 解碼”和“預覽圖像”就可以了。(這里用預覽圖像是因為出的圖是帶有躁點的,我們儲存下來也沒用,反而占用儲存空間)
①到這就完成了,但是我每次都要在兩個采樣器上輸入總步數、開始降噪步數、結束降噪步數是不是很麻煩,有沒有辦法讓我們把這幾個選項提取出來嗎?
②我們可以看到在這 6 個數值中,2 個總步數是一樣的,base 采樣器的結束降噪步數和 refiner 采樣器的開始降噪步數是一樣的,那我們就把這兩組數值統一輸入;
③分別在 base 采樣器上右鍵點擊“轉換步數為輸入、轉換結束降噪步數為輸入”,在 refiner 采樣器上右鍵點擊“轉換步數為輸入、轉換開始降噪步數為輸入”;
④我們同樣需要“右鍵——新建節點——實用工具——Primitive元節點”作為輸入節點,創建兩個,一個連接步數,一個連接結束/開始降噪步數。
所有都連接好了,我們可以排列一下,調整一下名稱顏色,方便我們后續使用(記得保存流程奧)
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
AI輔助海報設計101例
已累計誕生 737 位幸運星
發表評論 為下方 14 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓