ComfyUI SVD 圖片轉短視頻工作流分享！低配置也能用！

大家好，這里是和你們一起探索 AI 的花生~

之前為大家推薦過一些可以將圖像轉為動圖或者短視頻的 AI 工具，比如 LeiaPix Converter、Runway、Pika 等，今天再為大家推薦一種在本地免費實現圖像轉短視頻的方式，即在 ComfyUI 中使用開源模型 Stable Video Diffusion （SVD），經測試 8G 的顯存也能用，并且效果也相當不錯。

相關推薦：

一、Stable Video Diffusion 簡介

Stable Video Diffusion（SVD）是 Stability AI 推出的開源圖像到視頻生成模型，可以生成基于輸入圖像生成 2-6 秒的高分辨率（576x1024）視頻。

原圖：

用 SVD 轉為視頻后：

官方目前放出了 2 款模型，分別是 SVD 和 SVD-XT（文末有模型資源包），其中 SVD 可以生成 14 幀的視頻，SVD-XT 可以生成 25 幀的視頻。 它們還分別有一個升級版本 svd_image_decoder 和 svd_xt_image_decoder，是將 sd1.5/sd2.1 vae 添加到了原本的模型中，可以讓生成的視頻細節更好，但是總體的穩定性不太好。

1. SVD 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
2. SVD-XT 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

二、ComfyUI：SVD 圖像轉視頻

有了開源模型，我們就可以在 ComfyUI 中通過 SVD 免費將圖像轉為短視頻，下圖是一個 SVD 的基礎工作流（文末有 json 文件），其使用方法如下：

①首先將 svd.safetensors 或 svd_xt.safetensors 放入大模型文件夾中；

②將工作流文件拖入 ComfyUI 界面，對于缺失的節點可以在 Manager 中補全后再重啟；

③SVD_image2vid_conditioning 是控制視頻生成效果的關鍵節點，里面的參數作用分別是：

• width/heigth：視頻的寬高，最好和上傳的圖像尺寸一致。官方推薦的尺寸是 1024*576 或者 576*1024；
• video_frames：視頻總幀數，按視頻大模型來設定，即 svd 為 14 幀，svd_xt 為 25 幀。總幀數越多，能生成更明顯生動的動作，但是對顯存的壓力也更大。
• motion_bucket_id：控制視頻動態，數值范圍 1-255，數值越大，動態越明顯，推薦 125-180。
• fps：Frames Per Second 每秒傳輸幀數，數值范圍 5-30，數值過高視頻可能會不穩定，一般推薦 6-8。
• augmentation level：表示添加到初始圖像中的噪點量。數值越高，視頻看起來就越不像初始圖像，但提高該值可獲得更多動態效果，推薦設置為 0.1。

④VideoLinearCFGGuidance（視頻線性引導）節點的作用是線性縮放不同幀的 cfg 數值。其數值 1.0 代表第一幀的 cfg 值，Kampler 節點中的 2.5 代表最后一幀的 cfg 值，那么中間一幀的 cfg 數值就是 1.75。這樣離初始幀較遠的幀將獲得逐漸升高的 cfg 值，可以稍微改善視頻模型的采樣效果。

⑤Kampler 節點中的 cfg 數值需要隨視頻總幀數進行變化。如果是 25 幀，則 2.5 足夠，如果是 50 幀， 則需要適當增加，比如改為 5.0。

工作流設置完成后，上傳一張圖像，運行后即可將其轉為動態。我的顯存是 8G，大概 2 分鐘就能生成一個 3s 的 1024*576 短視頻（14 幀）。

除了上傳圖像，我們也可以將文生圖流程接入上面的基礎工作流，這樣就能直接通過文本生成短視頻了。我提供的工作流是 SD 1.5 的，如果要用 SDXL 模型，難么文生圖模塊里 Ksampler 內的生成參數記得要做出對應的調整；同時視頻模型也用的是 25 幀的 SVD_XT 模型，轉換時間大概是 9 分鐘。

轉換結果

此外我們還可以添加一些額外的節點，讓圖片轉視頻的效果更穩定、效率更高。

下圖工作流中使用了 LCM Lora 來提升圖像生成效率，讓 25 幀視頻的生成時間由 9 分鐘縮短至 5 分鐘，對顯存的壓力也更小；FreeU_V2 節點讓圖像細節更精準；RIFE VFI 節點則可以進行視頻插幀，讓效果更流暢。不過 LCM Lora 也會讓視頻生成的質量有所下降，畫面會變得更模糊，在實際應用中大家可以結合自己的需求看是否使用。

轉換結果(多調節 lora 權重、SVD 動態強度、SVD 噪點強度和 Ksampler 中的 cfg 參數進行抽卡)：

好了以上就是本期為大家分享的在 ComfyUI 中使用 SVD 模型實現圖像免費轉視頻的相關內容，相關的資源都在文末的網盤里，大家記得下載。想了解更多 AI 知識或者 AI 效率神器，歡迎訪問 「優設 AI 導航」，每天都有新鮮的 AI 干貨分享。也歡迎大家掃描下方的二維碼加入“優設 AI 繪畫交流群”，和我及其他 設計師 一起交流學習 AI 知識~

推薦閱讀：