Flux 生態再爆發！新增 4 大模型，支持局部重繪/擴圖/風格變體

大家好，我是花生~

上周 Flux 模型研發方 Black Forest Labs 突然又發布了 4 款新的模型，而且都非常實用，支持對圖像進行外繪擴展、局部重繪和生成風格變體，此外還有 depth 和 canny 的控制功能。

其實開源社區已經自發訓練了基于 Flux.1 的 Controlnet 模型，所以這次看到官方親自下場做模型還是挺驚訝的，我都在想是不是官方覺得目前的模型不夠好，所以決定自己動手來做。不過多一些新模型對我們普通用戶來說肯定不是壞事，尤其是新增的 Fill 模型，可以對圖像實現完美局部重繪和外繪拓展，對設計工作來說非常幫助。那今天我們就一起來看看這些新模型的特點和用法。

相關推薦：

一、模型簡介

此次 Flux 的一共發布了 4 大類模型，分別是分別是 Fill 重繪/拓展、Depth 深度控制、Canny 線條控制和 Redux 風格變體。

FLUX.1 Fill 主要包含 inpainting（局部重繪）和 outpainting （外繪拓展）兩大功能。官方稱這是目前最好的圖像修復模型，不僅處理速度快，新生成的內容也可以和原圖無縫銜接。

FLUX.1 Depth 和我們熟知的 Controlnet depth 作用是一樣的。先提供一張圖像，它會提取其中的深度結構，然后結合提示詞生成一張相似的新圖像。官方提供給了大模型和 Lora 兩種方式來實現此效果，大模型可以單獨使用，LoRA 需要與 FLUX.1 大模型搭配使用。Flux.1 Canny 同理。

FLUX.1 Redux 可理解為一個圖像變體生成模型，作用類似于 IP-Adapter。給出一張圖像，它可以生成在內容、構圖、風格、角色特征等方面類似的新圖像。官方表示它適合集成到一些更復雜的工作流中，幫助用戶通過圖像來引導新圖像的生成。

二、本地部署

模型鏈接： https://modelscope.cn/collections/FLUX--xilie-fa15f85b917d42 （文末有全部 6 款模型及相關工作流）

ComfyUI 工作流： https://comfyanonymous.github.io/ComfyUI_examples/flux/

以上 4 大工具的相關模型都已經開源，ComfyUI 也在第一時間進行了兼容支持，并發布了詳細的教程和示例工作流。不過這次的模型都很大，對顯存的要求會更高（保守 16G 以上），可能一些小伙伴的設備帶不動，所以我在下一章也推薦了一些線上試玩渠道。下面先看看不同模型的本地使用方法。

① FLUX.1 Fill

Fill 功能對應的模型是 flux1-fill-dev.safetensors，模型大小 23.8 G。使用時先將 ComfyUI 更新到最新版本，然后將模型安裝到根目錄的 ComfyUI/models/unet 文件夾。

Inpainting 局部重繪的具體工作流如下。上傳圖像后，在圖像上單擊右鍵，選擇 Open in MaskEditor（在蒙版編輯器中打開），然后用畫筆涂抹需要重繪的部分，再填寫提示詞，最后生成即可。

Outpainting 外繪拓展的工作流和操作步驟則略有不同。上傳圖像后，先在 Pad Image for Outpainting 節點中設置需要外繪拓展的尺寸，freathering 參數可以對邊緣進行羽化，讓圖像銜接更自然；再填寫提示詞描述整體畫面，最后點擊生成。

由于 flux 具有強大的文本渲染能力，所以對圖像局部重繪時，可以對原有文本進行修改，這帶來了很多有創意的玩法。比如我們可以將電影海報的標題改為任意自己喜歡的內容，新的字體還能與原字體的樣式保持一致，效果很令人驚喜。

圖像來源:Fal 網站的 Flux Fill Tool Demo（第三章有鏈接）

局部重繪和外繪拓展 AI 繪畫來說是非常重要的功能，但是好用的一般都要收費，免費的則使用有門檻，而且很多效果也不好。但從前面的測試結果來看，Flux Flill 的圖像修復效果的確是目前頂尖的，而且對個人來說，只要部署到本地就能免費無限制的使用，還能處理 2K 級別的高清圖像，真的非常方便了。

② FLUX.1 Depth & Canny

對于 Depth 和 Canny 控制功能， 官方給出了兩類模型：大模型和 lora 模型。

大模型有 23.8G，可以單獨使用；Lora 模型只有 1G 多，使用方法和一般的 flux lora 一樣，在基礎文本圖工作流上接入一個 load lora 節點就可以了。但是從網友的實測效果來看，lora 的效果比大模型差很多，生成時不僅容易出現細節丟失，而且圖像質量也很低，所以不推薦使用。

下面只簡單講一下大模型的使用方法。由于這兩個大模型實在太大了，運行起來很費勁，而且控制效果也沒有特別好，甚至比不上開源社區目前已有的 Flux Controlnet 模型。所以這一部分建議大家了解一下就行，沒必要非得用官方推出的這 4 個模型。

使用方法：先將 ComfyUI 更新到最新版本，然后將 flux1-depth-dev.safetensors 和 flux1-canny-dev.safetensors 大模型放到根目錄的 ComfyUI/models/unet 文件夾。Depth 和 Canny 的工作流主體是一樣的，只是在圖像預處理部分有所不同。

③ FLUX.1 Redux

Redux 應該是此次推出的模型中可玩性最高的，因為它可以很好地保留原圖的特征，包括風格、構圖、細節、人物特征、服裝特征等細節，所以能應用的范圍非常廣。比如用于保持人物一致性：

或者將多張圖像的不同部分進行融合：

圖像來源：Twitter @Datou

Redux 可以 flux dev 或 schnell 模型配合使用， 具體方法如下：

1）將 ComfyUI 更新到最新版本。下載 sigclip_vision_patch14_384.safetensors 模型，安裝到ComfyUI/models/clip_vision 文件夾中，下載 Flux1-redux-dev.safetensors 模型，放入 ComfyUI/models/style_models 文件夾中。

2）對于單張圖像，先安裝 ComfyUI_AdvancedReduxControl 插件，它可以調節控制圖像/提示詞的應用強度，從而得到更好的圖像融合效果。然后從插件文件夾中加載官方工作流 advanced_workflow 進行使用。

插件鏈接： https://github.com/kaibioinfo/ComfyUI_AdvancedRefluxControl

3）上傳圖像后，用文本描述想要的圖像內容/風格，然后在 ReduxAvance 節點中調節圖像與文本的融合強度。主要參數是 downsampling_factor ，決定原圖像對生成圖像的影響強度，數值范圍1-5。

4）如果想融合 2 張圖像的特征，可以先安裝 Comfyui_Flux_Style_Ctr 插件，然后下載 Datou 老師的 Pokemon Workflow 3.0 工作流進行使用。

插件地址： https://github.com/StartHua/Comfyui_Flux_Style_Ctr

工作流： https://openart.ai/workflows/datou/pokemon-workflow-30-flux-redux/0q8ftFHisaIIEOovzNRC

三、在線試玩

如果你無法本地部署 Flux 的這些新模型，也可以通過以下方式在線體驗。

① Glif - Flux(dev) Redux Merger

網址直達： https://glif.app/@HighDruidMotas/glifs/cm3rts26x0012105qfck7jdfh

這個 Glif 小應用是基于 Flux Redux 創建的，只需上傳兩種圖像，然后描述你想要的融合效果，就能輕松將兩個圖像的特征完美融合到一起。

② Fal

網址直達： https://fal.ai/flux-tools

Fal 對新出的 Flux 4 大功能進行全面支持，新用戶都有免費試用額度。

③ Replicate

網站直達： https://replicate.com/black-forest-labs

Replicate 上也有對 Flux 4 大模型進行全面支持，新用戶都有免費試用額度。

那么以上就是本期對 Flux 四大新模型的相關介紹，喜歡本期內容一定記得點贊評論支持一波。也歡迎大家關注「優設 AI 自學網」 和「優設微信視頻號」，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發展動態。也歡迎大家掃描下方的二維碼加入“優設 AI 知識交流群”，和我及其他設計師一起交流學習 AI 知識~

推薦閱讀：