超強 AI 視頻生成模型 Dream Machine 來啦！效果秒殺 Runway，可免費使用

大家好，這里是和你們一起探索 AI 的花生~

最近一款新的 AI 視頻生成模型 Dream Machine 爆火出圈，它雖然只能生成 5s 的視頻片段，但是在畫面清晰度、動態(tài)的自然流暢程度、以及對提示詞的理解上秒殺了 Runway、Pika 等一眾工具，甚至能與 Sora 一較高下，因此得到了很多專業(yè)人士的肯定和稱贊。今天就為大家詳細介紹一下 Dream Machine 的用法和特點。

相關(guān)推薦：

Dream Machine

官網(wǎng)直達： https://lumalabs.ai/dream-machine

Dream Machine 是 Luma AI 新推出的一款視頻生成模型，這家公司原本是專注于 3D 內(nèi)容生成技術(shù)的，推出過一款非常出名的 3D 模型生成工具 Genie。沒想到這次居然發(fā)布了一個視頻生成模型，而且效果比其他的同類產(chǎn)品都要好，實在令人驚喜。

Dream Machine 支持通過英文提示詞以及圖像生成時長 5 秒、分辨率 1024 的高清流暢視頻。工具目前對所有公眾開放，每個用戶每月有 30 次的免費生成額度，但生成結(jié)果不可商用。進入網(wǎng)頁后點擊右上角的「Try Now」，用郵箱注冊一個賬號，登錄后就可以使用了。

Dream Machine 網(wǎng)站主頁

Dream Machine 的操作界面非常簡單，沒有視頻比例、鏡頭運動、運動速度這些選項，只有提示詞輸入框和圖像上傳按鈕，文生視頻的默認比例是 16:9，所以上手使用非常簡單。用戶可以在 「Account」內(nèi)查看自己的剩余的使用次數(shù)，由于免費用戶的優(yōu)先級會低于付費用戶，所以在擁擠時段提交生成任務后，需要耐心等待一段時間才能得到結(jié)果。

Dream Machine 生成界面

雖然 Dream Machine 目前的生成時長只有 5 秒，遠不及 Sora 等模型的 60s 的長度，但是它生成的質(zhì)量的確驚人，在運動速度和動作連貫度上基本到達了和真實世界一致的水平，不再像之前的模型那樣容易出現(xiàn)畫面靜止和慢動作。比如下面的這個 “煙花綻放” 的效果就是直接通過文本生成的，效果非常自然。

來源：Twitter @takamasa045。提示詞：Night sky, Watermelon-inspired, Fireworks Mood: Enchanting Composition: Expansive view of the night sky filled with watermelon-shaped fireworks Lighting: Softly lit surroundings with bursts of vibrant

而通過與 Runway 和 Pika 的生成效果進行對比，我們可以更直觀地感受到 Dream Machine 的優(yōu)點。在處理包含人物的場景時，Runway 和 Pika 生成的動態(tài)微小有限，人物動作也很遲緩；而 Dream Machine 的動態(tài)則非常明顯，處理人物行走姿態(tài)時非常流暢自然，甚至還能自動補上一些新的畫面。

視頻來源：Twitter @taziku_co

與文生視頻相比，Dream Machine 的圖生視頻功能目前更受歡迎。一方面是因為文本生成的視頻畫面在質(zhì)量上不如 Midjourney 這樣的專業(yè)出圖工具好，另一方面是因為 Dream Machine 對物理和人物運動有非常深入地理解，知道下一步應該生成什么動作，因此可以根據(jù)圖像生成連貫的新內(nèi)容。

摩托車行駛，視頻來源：Twitter @tkyysm

眨眼動態(tài)，視頻來源：Twitter @tacute3

燃燒的火，來源 Twitter @ciguleva

在處理圖像的過程中，Dream Machine 依舊能保持較高的圖像質(zhì)量，包括人物的形象也能保持穩(wěn)定一致，不會出現(xiàn)嚴重的扭曲模糊，這一點有效提升了 AI 視頻創(chuàng)作的質(zhì)量和效率。有網(wǎng)友嘗試用 Dream Machine 來為一些經(jīng)典的圖片添加動態(tài)，得到的效果也很有意思。

蒙娜麗莎，來源 Twitter @KodyKurth

來源：Twitter @hey_madni

來源：Twitter @HendoAi

雖然 Dream Machine 目前沒有控制鏡頭運動和物體運動方向的選項，但我們可以在提示詞中加入與運動方向或拍攝手法相關(guān)的提示詞，比如 "The yellow rectangle is moving from left to right（黃色矩形從左向右移動）" 、 “ High Angle shot（俯拍）”，來實現(xiàn)想要的效果。

來源：Twitter @toyxyz3

而且 Dream Machine 模型本身對場景的理解也非常不錯，能生成有趣的鏡頭運動，而不僅僅是靜止的角度。

比如根據(jù)一張自拍的圖像+“Took a selfie” 的提示詞，Dream Machine 會自動生成包含 “手指點擊按鈕”、“揮手展示背景”、“旋轉(zhuǎn)鏡頭” 等動態(tài)的片段，經(jīng)后期拼接到一起、加上一些 UI 圖標，看起來就像人物真的在直播一樣；以及生成模特在 T 臺走秀的場景時，鏡頭會從下慢慢上移，最后穩(wěn)定跟隨人物的上半身，可見 Dream Machine 對現(xiàn)實世界的模仿是非常到位的。

來源：Twitter @KakuDrop

Dream Machine 生成的視頻還有 2 個非常有意思的點，一是能自動生成畫面中不存在的場景，這是之前的視頻生成模型都沒有的；二是生成的視頻中如果包含角色，尤其是 3D 卡通角色的話，就很有可能會被加上嘴型動作。這可能是因為 Luma AI 用了很多電影來訓練模型，這給圖生視頻帶來更多的驚喜。

來源：Twitter @ProperPrompter

來源：Twitter @alifcoder

除了寫實風，Dream Machine 在處理動漫、3D 卡通這樣的風格化圖像時，效果依舊非常穩(wěn)定，可以用來制作一些高質(zhì)量的動圖。而且它也支持直接通過文本生成卡通、3D 卡通風格的視頻內(nèi)容。

來源：IG @radstream

直接通過文本生成的卡通片段，來源：Twitter @takamasa045。提示詞：In a twilight, otherworldly landscape, a samurai wields both sword and sorcery, drawing his luminous katana amidst swirling magical energy. His face is a mask of focus, his traditional armor adorned with glowing sigils.The air shimmers with ethereal light, in hues of blue and violet, as mist and shadows dance around. The katana gleams with an enchanted glow, signifying the fusion of ancient martial skill and potent dark magic, poised for an extraordinary strike.

基于 Dream Machine 在各項性能上的優(yōu)化，再加上現(xiàn)在已經(jīng)非常成熟的 AI 圖像生成和 AI 音頻生成技術(shù)，讓 AI 視頻在整體質(zhì)量又比之前提升了不少，一些寫實風的視頻甚至能達到以假亂真的效果。不過 Dream Machine 目前也有一些小缺陷，比如視頻結(jié)束時依舊會出現(xiàn)一些變形，或者生成運動姿勢不正確等，另外不能手動設置視頻畫幅比例我感覺也不太方便，期待官方能在后續(xù)優(yōu)化這些問題。

那么以上就是本期為大家推薦的 AI 視頻生成神器 Dream Machine，非常推薦大家都去體驗一下。想了解更多 AI 新鮮資訊的話，歡迎關(guān)注 「優(yōu)設 AI 自學網(wǎng)」 和「優(yōu)設微信視頻號」，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設 AI 知識交流群”，和我及其他設計師一起交流學習 AI 知識~

另外我的最新課程《AI 視頻零基礎(chǔ)系統(tǒng)入門》已經(jīng)上線了，目前優(yōu)惠價 59 元，對 AI 視頻感興趣的小伙伴不要錯過。課程內(nèi)容包括：

1. 從文生視頻、圖生視頻、視頻生成視頻、數(shù)字人視頻 4 個方面，系統(tǒng)全面地帶你了解目前主流的 AI 視頻制作方式以及優(yōu)缺點；
2. 十余種熱門 AI 視頻生成神器用法詳解，輕松掌握大神同款工具；
3. 附贈課程專屬工具清單，收錄了近 300 款 AI 視頻、音頻、文案神器，全面賦能 AI 視頻創(chuàng)作
4. 高質(zhì)量免費自學資源、最新 AI 視頻資訊獲取渠道全分享

推薦閱讀：