AI 繪畫(huà)新標(biāo)桿！一文詳解最新開(kāi)源模型 Flux.1（附新版工作流&模型資源包）

大家好，這里是和你們一起探索 AI 的花生~

繼 SD 3 Medium、Kolors 之后，開(kāi)源領(lǐng)域又新增了一款文本-圖像生成模型 Flux.1。它由 Stability AI 前核心成員主導(dǎo)開(kāi)發(fā)，模型質(zhì)量遠(yuǎn)超 SD 3，甚至與閉源的 Midjourney v6.1 模型不相上下，成為了 AI 文生圖模型的新標(biāo)桿，也給開(kāi)源 AI 繪畫(huà)帶來(lái)了新的發(fā)展活力。今天就一起來(lái)看看 Flux.1 模型的特點(diǎn)和安裝使用方法。

相關(guān)推薦：

一、Flux.1 簡(jiǎn)介

Black Forest Labs 官網(wǎng)： https://blackforestlabs.ai/

Flux.1 是由 Black Forest Labs 黑森林實(shí)驗(yàn)室推出的文生圖模型套件，說(shuō)到 Black Forest Labs 大家可能覺(jué)得陌生，它是 Stability AI 前核心成員 Robin Rombach 創(chuàng)立的新團(tuán)隊(duì)，成員也多來(lái)自 Stable Diffusion 的原始開(kāi)發(fā)團(tuán)隊(duì)，因此具備強(qiáng)大的生成式模型開(kāi)發(fā)能力。

Black Forest Labs 目前已經(jīng)獲得了 3200 萬(wàn)美元的融資，致力于開(kāi)發(fā)和推進(jìn)用于圖像、視頻等媒體的最先進(jìn)的生成式深度學(xué)習(xí)模型，并建立新的行業(yè)標(biāo)準(zhǔn)，F(xiàn)LUX.1 模型套件就是該團(tuán)隊(duì)實(shí)現(xiàn)目標(biāo)的第一步。

之所以稱為 “套件”，是因?yàn)?Flux.1 一共有 3 個(gè)不同的的變體版本，分別擁有不同的性能，適用于不同的場(chǎng)景：

① FLUX.1 [pro]

閉源模型。具備最佳性能，包括最先進(jìn)的提示跟隨能力、視覺(jué)質(zhì)量、圖像細(xì)節(jié)和輸出多樣性。可以在注冊(cè)官方 API 申請(qǐng)?jiān)L問(wèn)權(quán)限，同時(shí)支持企業(yè)定制。

② FLUX.1 [dev]

開(kāi)源模型，不可商用。直接從 FLUX.1 [pro] 蒸餾而來(lái)，具備相似的圖像質(zhì)量和提示詞遵循能力，但是更高效。

③ FLUX.1 [schnell]

開(kāi)源模型，可商用。專門(mén)為本地開(kāi)發(fā)和個(gè)人使用量身定制，生成速度最快，內(nèi)存占用也最小。

Flux .1 的訓(xùn)練參數(shù)高達(dá) 120 億，遠(yuǎn)超 SD3 Medium 的 20 億。據(jù)官方介紹，F(xiàn)LUX.1 [pro] 和 [dev] 在圖像質(zhì)量、提示詞跟隨、尺寸適應(yīng)、排版和輸出多樣性等方面超越了 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra 等流行模型，定義了新的圖像合成的最先進(jìn)水平。

通過(guò)前面的圖像，我們已經(jīng)可以直觀感受到 Flux .1 模型強(qiáng)大的圖像生成能力。它的性能優(yōu)于 SD3 是顯而易見(jiàn)的事實(shí)，畢竟 Flux .1 在生成人物躺倒姿勢(shì)的時(shí)候不會(huì)崩壞。加上二者從本質(zhì)上說(shuō)是同一個(gè)團(tuán)隊(duì)開(kāi)發(fā)的，因此很多人都認(rèn)為 Flux .1 才是 “真正的 SD3 ”。

我也用 Midjourney 最新的 v6.1 模型與 FLUX.1 Pro 進(jìn)行了出圖對(duì)比。雖然 FLUX.1 在藝術(shù)性和風(fēng)格多樣性上不及 Midjourney 豐富，但在清晰度、細(xì)節(jié)逼真度，復(fù)雜場(chǎng)景生成等方面與最新的 v6.1 模型不相上下，甚至在一些方面的表現(xiàn)超過(guò)了 v6.1。

尤其是在復(fù)雜英文文本生成、多人場(chǎng)景、提示詞理解遵循等方面，F(xiàn)LUX.1 Pro 的表現(xiàn)會(huì)明顯比 v6.1 好。Pro 可以準(zhǔn)確處理多人場(chǎng)景，面部、手部細(xì)節(jié)不會(huì)扭曲崩壞；生成超長(zhǎng)文本的時(shí)候，無(wú)論是內(nèi)容還是排版都非常標(biāo)準(zhǔn)到位；還能有效防止提示詞泄露的情況發(fā)生，準(zhǔn)確生成畫(huà)面內(nèi)容。

二、 Flux.1 本地部署

在三款模型中，[dev] 和 [schnell] 都是開(kāi)源模型，支持本地部署，ComfyUI 也跟進(jìn)支持了。由于 [schnell] 的質(zhì)量相對(duì)較差，所以目前最受歡的是 [dev] 版本。下面介紹一下如何在 ComfyUI 中安裝使用它（相關(guān)模型資源可在云盤(pán)內(nèi)下載）：

注意：想順暢使用此模型最好有 16G 的顯存，8G 或 12G 雖然也可以運(yùn)行，但是生成速度較慢。

操作步驟：

① 安裝 ComfyUI ，并更新到最新版本；

② 下載 ae.sft 模型，安裝到 ComfyUI/models/vae 文件夾，為方便識(shí)別，可以將其改名為 flux_ae.sft；

③ 下載 flux1-dev.sft 文件，安裝到 ComfyUI/models/unet 文件夾。如果你的顯存比較小，可以下載 ComfyUI 官方發(fā)布的 flux1-dev-fp8.safetensors 模型文件，放到 checkpoints 大模型所在的文件夾；

④ 下載 clip_l.safetensors 和 t5xxl_fp8_e4m3fn.safetensors 文件，安裝到根目錄的 ComfyUI/models/clip 文件夾中。如果你安裝過(guò) SD 3 Medium 模型，那么這兩個(gè)文件你可以已經(jīng)具備了，不需要再次下載。

模型安裝好之后，還需要對(duì)電腦系統(tǒng)和 ComfyUI 做出一些設(shè)置：

1. 在電腦系統(tǒng)設(shè)置中，將讓 windows 自動(dòng)管理虛擬內(nèi)存，這樣可以最大限度調(diào)用資源；
2. 在 ComfyUI 啟動(dòng)器界面 - 高級(jí)選項(xiàng)中，開(kāi)啟 --lowvram 模式；
3. 運(yùn)行的時(shí)候，盡量關(guān)閉其他占資源的應(yīng)用，以免出現(xiàn)內(nèi)存不足的情況。

我使用的是 ComfyUI 官方分享的 flux1-dev-fp8 模型，工作流也是最新的簡(jiǎn)化工作流（ 網(wǎng)盤(pán)內(nèi)下載 flux_dev_example.png，拖入 ComfyUI 界面加載），只需要加載一個(gè)大模型就能使用，更加方便。我的顯存是 4060 8G，生成一張 1024*1024 的圖像用了將近 6 分鐘的時(shí)間，大家可以做一個(gè)參考。

此外，之前還有一個(gè)更復(fù)雜的工作流，使用的模型是一樣的，但是可以手動(dòng)設(shè)置 unet、clip、vae 等選項(xiàng) ，具體教程可以看著這里：

三、在線使用

① Replicate 在線試玩： https://replicate.com/black-forest-labs

② Fal 在線試玩： https://fal.ai/models

如果你的電腦配置不足以支持 FLUX.1 dev 的本地運(yùn)行，目前也有網(wǎng)站可以讓我們免費(fèi)體驗(yàn)其生成效果。一是 Replicate，Black Forest Labs 官方提供了 FLUX.1 全部三款模型的免費(fèi)試用途徑，支持自定義提示詞、圖像尺寸等，生成速度非常快；二是 Fal，也支持全部三款模型的生成體驗(yàn)， 新用戶有免費(fèi)試用額度。

那么以上就是最新開(kāi)源文生圖模型 Flux.1 的相關(guān)介紹，它展現(xiàn)出來(lái)的能力無(wú)疑是目前最強(qiáng)大的， 只是對(duì)配置的要求有點(diǎn)高，對(duì)普通用戶來(lái)說(shuō)使用有困難。如果未來(lái) Flux.1 的生態(tài)可以進(jìn)一步發(fā)展起來(lái)，擁有更多微調(diào)模型和拓展插件，一定可以將開(kāi)源 AI 繪畫(huà)領(lǐng)域帶到一個(gè)新的高度。

文內(nèi)的資源都可以在云盤(pán)內(nèi)下載。ComfyUI 的學(xué)習(xí)門(mén)檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開(kāi)始，它更適合初學(xué)入門(mén)，學(xué)會(huì)后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎(chǔ) AI 繪畫(huà)入門(mén)指南》是一門(mén)面向 AI 繪畫(huà)零基礎(chǔ)人群的系統(tǒng)課程，包含 Stable Diffusion WebUI 全面細(xì)致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門(mén)的 AI 繪畫(huà)工具。

想了解更多 AI 新鮮資訊的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng) 和優(yōu)設(shè)微信視頻號(hào)，每天都會(huì)分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動(dòng)態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 知識(shí)交流群”，和我及其他設(shè)計(jì)師一起交流學(xué)習(xí) AI 知識(shí)~

相關(guān)鏈接：

1. API 注冊(cè)： https://docs.bfl.ml/#obtain-an-api-key
2. FLUX.1-dev 模型資源： https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main-
3. ComfyUI 官方更新： https://github.com/comfyanonymous/ComfyUI_examples/tree/master/flux

相關(guān)推薦：