清華出品！AI視頻神器 Vidu 橫空出世，效果直追 Sora！

大家好，這里是和你們一起探索 AI 的花生~

這兩天一款名為 Vidu 的視頻生成模型火爆網絡，它由北京生數科技與清華大學聯合發布，能直接通過文本生成 16 秒 1080P 的高清視頻，且視頻質量與 OpenAI Sora 不相上下， 因此被認為是 Sora 目前最有力的競爭對手。

Vidu 內測名額申請： shengshu.feishu.cn

相關推薦：

Vidu 是中國首個具備長時長、高一致性及高動態性的視頻大模型，從官方的演示視頻中也可以切實感受到其強大的生成能力。對于 “畫室里的一艘船駛向鏡頭” 這樣的提示詞，Vidu 不僅能正確地將兩個原本不相干的元素恰當地融合在一起，也準確理解了 “駛向鏡頭” 這樣的動態提示詞，并且海浪的涌動、船體的搖晃、浪花的飛濺都非常生動自然，就如 CG 特效一樣逼真。

Vidu 還具有模擬真實世界物理特征的能力。對于小狗在水下游泳這樣的場景，泳池底部會有水波閃爍的紋理和小狗的影子；而生成包含球形玻璃容器的畫面時，玻璃表面會有反光，玻璃內的物體也會呈現出畸變放大的狀態，在此之前只有 Sora 才有這樣的能力。

Vidu 在動態上的表現也非常優秀，處理眨眼、行走、頭發漂浮、汽車疾馳等效果非常自然，不會出現 “慢動作” 或者 “假動作” 的情況。最令我印象深刻的畫面有 2 個，一是陶坯在女孩手中飛速旋轉，二是失重環境下書本紙張的隨意漂浮。這些畫面中局部的明顯動態并沒有對周圍的內容造成扭曲，從而形成了動與靜的鮮明對比；陶坯隨時間變化還有一個向上延展的變形，由此也能看出 Vidu 對物體運動方式有非常清晰深入地認知。

官方的演示視頻中，有些鏡頭可以明顯看出與 Sora 的一些片段是相似的，比如 “越野車在山間的道路上行駛”、“堆疊在一起播放著不同年代節目的電視劇” ，以及“在街道上行走的女人等”，通過對比也能看出二者在視頻質量不相上下，只不過在持續時長上目前還是 Sora 更勝一籌。

Vidu 提示詞：鏡頭圍繞一大堆老式電視旋轉，所有電視都顯示不同的節目 - 20 世紀 50 年代的科幻電影、恐怖電影、新聞、靜態、1970 年代的情景喜劇等，背景設置在紐約一家大型博物館畫廊內。

從上面這個視頻中也可以看出 Vidu 具有穩定多樣的運鏡能力，并且是可以通過文本來控制的。提示詞中寫的是“鏡頭圍繞……旋轉”，視頻中展示的效果是鏡頭推進+拉高+環繞拍攝，手法更復雜，且結合地也很巧妙，這是目前很多AI視頻工具都無法做到的。此外 Vidu 也和 Sora 一樣具有生成多鏡頭的能力。

Vidu 提示詞：在一個古色古香的海邊小屋里，陽光沐浴著房間，鏡頭緩慢過渡到一個陽臺，俯瞰著寧靜的大海，最后鏡頭定格在漂浮著大海、帆船和倒影般的云彩。

Vidu 的研發公司北京生數科技成立于 2023 年 3 月，核心團隊成員來自清華大學人工智能研究院，此外匯集了來自阿里、騰訊、字節等知名科技公司的頂尖人才，因此公司擁有扎實的擴散概率模型底層創新研發能力。據了解 Vidu 模型的核心是其團隊于 2022 年 9 月提出的 U-ViT 架構，這是全球首個 Diffusion 與 Transformer 的融合架構， 為 Vidu 的誕生奠定了堅實基礎，而 Sora 模型也用到 Diffusion 與 Transformer 技術。

目前生數科技也在努力打造世界領先的多模態大模型，致力于將文本、圖像、視頻、3D 等多種生成能力融為一體。目前它已經推出了視覺創意設計平臺 PixWeaver 和 3D 資產創建工具 VoxCraft，Vidu 的視頻生成服務將來就會在 PixWeaver 平臺上推出，目前可以先加入等候名單獲取內測名額。

生數科技官網： https://www.shengshu-ai.com/home

PixWeaver 官網： https://pw.shengshu-ai.com/

Vidu 內測名額申請： https://shengshu.feishu.cn/share/base/form/shrcnWhu2dSaGw4ZYYd7nNGzTZd

雖然 Vidu 目前在視頻時長上還做不到 Sora 的 60 秒，但是在運動幅度，一致性、穩定性、對提示詞的理解等方面效果都非常接近 Sora，并且遠遠高于 Runway、Pika 等一眾 AI 視頻工具。更重要的是 Vidu 是國產的，這意味著未來我們也能輕松用上世界頂尖水準的視頻生成工具，這是非常令人振奮的。

那么以上就是本期為大家介紹的國產視頻大模型 Vidu，喜歡的話記得點贊收藏支持一波，我會有更動力為大家推薦新的干貨內容~ 想了解更多 AI 新鮮資訊的話，歡迎關注 優設 AI 自學網 和優設微信視頻號，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發展動態。

另外我最新制作的課程《零基礎 AI 繪畫入門》已經上線，課程包含對 Midjourney 及 Stable Diffusion WebUI 的系統入門教學，并提供配套資源、各類實用工具和提示詞庫，能幫助初學者快速掌握這 2 款目前最熱門的 AI 工具，感興趣的小伙伴可以戳的鏈接了解詳情：夏花生的《零基礎 AI 繪畫錄播課》。

也歡迎大家掃描下方的二維碼加入“優設 AI 知識交流群”，和我及其他設計師一起交流學習 AI 知識~

推薦閱讀：