AnimateDiff-Lightning 來了！讓文生視頻生成速度提升 8 倍！

大家好，這里是和你們一起探索 AI 的花生~

之前為大家介紹了字節(jié)的 SDXL-Lightning 模型，能在幾秒內(nèi)生成一張 1024*1024px 的圖像。最近字節(jié)又推出了一款新的文生成視頻模型 AnimateDiff-Lightning，也是在幾秒鐘內(nèi)生成一段 3s 的視頻，比原本的 AnimateDiff 模型快了 6-8 倍，有效提升了 AI 視頻生成的效率。今天就為大家介紹一下 AnimateDiff-Lightning 的相關(guān)內(nèi)容。

相關(guān)推薦：

一、AnimateDiff-Lightning 簡介

項目主頁： https://huggingface.co/ByteDance/AnimateDiff-Lightning

在線試玩： https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning

AnimateDiff-Lightning 是從 AnimateDiff SD1.5 v2 模型中提煉出來的，包含 1 步、2 步、4 步和 8 步共 4 個蒸餾模型。其中 2 步、4 步和 8 步模型的生成質(zhì)量較好，1 步模型目前僅用于研究目的。官方有在線體驗網(wǎng)站，支持 8 種鏡頭運動，測試了一下 10 秒內(nèi)就能生成一個 2s 的視頻， 并且步數(shù)越高的模型生成的質(zhì)量也越好。

我分別用 AnimateDiff-Lightning 4step 模型 、8step 模型和原本的 mm_sd_v15_v2 做測試對比。同樣是 2 秒（16 幀）的 512*512px 的視頻，4step 模型生成時長為 8 秒，8step 模型是 16 秒，mm_sd_v15_v2 則用了 80 秒。二者速度上的差別達到 5-10 倍，但視頻質(zhì)量的差別并不明顯。從測試結(jié)果來看 8step 模型的質(zhì)量會比 4step 模型更穩(wěn)定，且 AnimateDiff-Lightning 模型效果有時甚至超過 mm_sd_v15_v2。

官方表示 AnimateDiff-Lightning 模型非常適合用于視頻轉(zhuǎn)視頻，對此我也進行了測試。同樣一段 6 秒的真人視頻將轉(zhuǎn)繪為動漫風，AnimateDiff-Lightning 4step 模型需要 3 分鐘，而 mm_sd_v15_v2 模型則需要 15 分鐘，速度差了 5 倍；并且 AnimateDiff-Lightning 的轉(zhuǎn)換效果還要好于 mm_sd_v15_v2，可見 AnimateDiff-Lightning 的確能有效提升視頻轉(zhuǎn)繪的速度。

二、在 ComfyUI 中使用 AnimateDiff-Lightning

AnimateDiff-Lightning 模型資源已經(jīng)開源，官方還提供了 ComfyUI 適配模型和工作流，所以在本地部署起來也非常輕松。下面介紹一下文生視頻（t2v）和視頻生成視頻（v2v2）的使用方法。

① 安裝插件

首先需要安裝好 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite 兩款插件，可以在 Manager 中安裝，或者通過 Git 命令克隆，安裝完成后重啟 ComfyUI

網(wǎng)址 1： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

網(wǎng)址 2： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

② 安裝模型

需要兩類模型。一是 AnimateDiff-Lightning 模型的，推薦 4 步或者 8 步模型。下載后放到根目錄的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夾中。

下載地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main (文末有資源包)

然后安裝 motion lora 模型，它可以為視頻添加鏡頭有運動，包括推進、拉遠、平移、旋轉(zhuǎn)等。與 AnimateDiff-Lightning 模型配合使用可以讓視頻動態(tài)更加明顯。下載后放置在根目錄的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夾中。

下載地址： https://huggingface.co/guoyww/animatediff/tree/main (文末有資源包)

③ 文生視頻工作流

工作流地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui （文末有資源包）

官方提供了文生視頻和視頻風格轉(zhuǎn)換 2 款工作流，上面的資源都安裝好之后，將文生視頻工作流拖入 ComfyUI 中就能使用了。

使用文生視頻工作流時，需要注意的點包括：

1. 可以多嘗試風格化的大模型，比如 ToonYu / DreamSharp / MajicMix Realistic / MajicMIX Reverie 等；
2. Ksampler 中得生成步數(shù)必須與選擇的 AnimateDiff-Lightning 對應(yīng)，4 步模型就填 4，8 步模型就填 8；默認采樣器 Euler，調(diào)度器選 sgm_uniform；
3. Motion LoRA 的運動方式可以自定義，權(quán)重推薦在 0.7~0.8 之間，太高會扭曲畫面內(nèi)容。

④ 視頻轉(zhuǎn)繪工作流

如果想使用 AnimateDiff-Lightning v2v 功能，提升視頻轉(zhuǎn)繪速度，則需要再安裝 Controlnet 插件和對應(yīng)的 Openpose 模型，再導(dǎo)入 v2v 工作流：

1. ComfyUI-Advanced-ControlNet 插件： https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；
2. ComfyUI_controlnet_aux 插件： https://github.com/Fannovel16/comfyui_controlnet_aux ；
3. Openpose 模型下載： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到根目錄的，models/controlnet/文末有資源包）

使用視頻轉(zhuǎn)繪工作流時，需要注意的內(nèi)容有：

1. 上傳視頻的不宜太長，分辨率也不要太高，官方使用的是一個 8 秒 576x1024 px 的視頻；
2. 使用的是 DWPose 預(yù)處理器，首次使用時會自動下載預(yù)處理器模型，可以在控制臺查看下載進度；
3. 視頻的幀率設(shè)置要與上傳的視頻素材一致，否則會影響視頻生成效果；
4. Ksampler 中得生成步數(shù)必須與選擇的 AnimateDiff-Lightning 對應(yīng)，4 步模型就填 4，8 步模型就填 8；默認采樣器 Euler，調(diào)度器選 sgm_uniform；

那么以上就是本期為大家介紹的免費 AI 視頻生成神器 AnimateDiff-Lightning，文內(nèi)提到的模型及工作流文件都在文末的云盤鏈接內(nèi)，有需要的有需要的小伙伴可以記得下載~

ComfyUI 的學(xué)習門檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開始，它更適合初學(xué)入門，學(xué)會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎(chǔ) AI 繪畫入門指南》是一門面向 AI 繪畫零基礎(chǔ)人群的系統(tǒng)課程，包含 Stable Diffusion WebUI 全面細致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。如果有關(guān)于文章的問題，歡迎在評論區(qū)留言，或者下方的二維碼加入“優(yōu)設(shè) AI 繪畫交流群”，和我及其他 設(shè)計師 一起交流學(xué)習 AI 知識~

推薦閱讀：