Runway！AI技術(shù)+視頻制作的新一代視頻內(nèi)容生成工具

大家好，這里是和你們聊設(shè)計(jì)的花生~

之前和大家聊過(guò)不少 AI 圖像生成工具，有的可以根據(jù)文本生成圖像，有的則是將 AI 技術(shù)運(yùn)用到圖像處理中，讓扣除背景、消除畫面元素成為非常輕松快速的事情，大大提升了設(shè)計(jì)師的工作效率。既然 AI 技術(shù)在圖片處理的應(yīng)用上如此成熟，那如果用到視頻的剪輯制作上會(huì)有什么效果呢？

Runway 官網(wǎng)： https://runwayml.com/

借助 AI 技術(shù)的快速消除圖像內(nèi)容

比如在視頻里實(shí)現(xiàn)一鍵摳圖，將人物從背景中分離出來(lái)，進(jìn)行背景更換或者插入文字圖層：

或者在視頻里實(shí)現(xiàn)快速修圖，用畫筆一抹，就能去除視頻中不需要的部分：

甚至在視頻里也用上 Ai 生成性技術(shù)，輸入一段話，就能將原來(lái)的物體變成另一個(gè)新的物體：

其實(shí)這些 AI 技術(shù)在視頻制作中應(yīng)用的并非想象，也不是特效，而是真的有公司將其變?yōu)榱爽F(xiàn)實(shí)。下面就是“一鍵去除畫面元素”技術(shù)在視頻制作中的實(shí)現(xiàn)過(guò)程：

在線視頻制作工具 Runway 的操作界面

這些神奇的視頻處理功能都是一家名為 Runway 的公司開發(fā)的。Runway 是國(guó)外一家在線視頻剪輯制作網(wǎng)站，成立于 2018 年。它有非常完善的在線視頻處理技術(shù)，更重要的是公司團(tuán)隊(duì)一直在積極地將生成性 AI 技術(shù)應(yīng)用到視頻內(nèi)容制作中，致力于降低視頻創(chuàng)作的門檻，幫助人們輕松制作出內(nèi)容強(qiáng)大且富有創(chuàng)意的視頻內(nèi)容。

Runway 官網(wǎng)： https://runwayml.com/

Runway 官網(wǎng)展示的 30 多個(gè) AI 魔法工具

Runway 目前已經(jīng)開發(fā)了 30 多個(gè) AI 魔法工具，其中一部分是將 AI 圖像生成技術(shù)內(nèi)置。比如我們熟悉的根據(jù)文本生成圖像、根據(jù)圖像生成風(fēng)格化變體、圖像延展外繪、根據(jù)文本生成 3D 貼圖紋理、視頻局部無(wú)損放大等技術(shù)，在 Runway 內(nèi)都可以實(shí)現(xiàn)。

Runway 內(nèi)置的圖像無(wú)限外延功能

另一部分則是令人驚喜的視頻處理魔法，除了我們前面提到的 3 種功能，Runway 還開發(fā)了包括動(dòng)態(tài)追蹤，智能調(diào)色、智能慢鏡頭、平滑插幀及一鍵模糊人臉等功能。

“動(dòng)態(tài)追蹤”即通過(guò) AI 技術(shù)識(shí)別視頻中物體的運(yùn)動(dòng)軌跡，然后為其附上文字或者其他元素，這些元素會(huì)自動(dòng)跟隨物體一起運(yùn)動(dòng)，不用手動(dòng)設(shè)置軌跡。

“智能調(diào)色”功能利用 AI 技術(shù)自動(dòng)分析畫面的色彩等級(jí)，然后依據(jù)文本描述的內(nèi)容對(duì)視頻相應(yīng)的色調(diào)調(diào)整，處理速度很快，上色效果也非常和諧。

除了視頻處理工具，Runway 也將 AI 技術(shù)與音頻處理結(jié)合起來(lái)，開發(fā)出了自動(dòng)生成文字稿、一鍵去除空白音頻及智能去除背景雜音等工具。Runway 的研究團(tuán)隊(duì)目前還在開發(fā)一種名為 Soundify 的音效系統(tǒng)，該系統(tǒng)利用 AI 技術(shù)先識(shí)別視頻內(nèi)容，然后為之生成準(zhǔn)確高質(zhì)量的音頻，且自動(dòng)對(duì)齊音頻與視頻的進(jìn)度，以解決傳統(tǒng)視頻制作過(guò)程中尋找合適音頻困難、精準(zhǔn)對(duì)齊音頻與視頻耗時(shí)的問(wèn)題。

Runway 的野心當(dāng)然不止于此。有了圖像、視頻與音頻等一系列 AI 工具作為基礎(chǔ)，Runway 還推出了 "文本生成視頻 "技術(shù)并發(fā)布了一段演示視頻。

從視頻中可以看出，Runway 的 "文本生成視頻 "技術(shù)包括：通過(guò)輸入文本指令實(shí)現(xiàn)導(dǎo)入視頻素材、調(diào)色及消除視頻中的選中對(duì)象；通過(guò)文本生成各種圖像；通過(guò)文本描述添加文字及動(dòng)效、扣取人物及替換背景等。我們也可以看出視頻當(dāng)中的很多功能都是我們前面介紹過(guò)的。

目前 "文本生成視頻 "技術(shù)還沒(méi)有公開，想體驗(yàn)的小伙伴可以申請(qǐng)加入等待名單： https://runwayml.com/text-to-video/

當(dāng)然了，這么好的工具肯定不是免費(fèi)的。新用戶注冊(cè) runway 后可以享受 3 次免費(fèi)的視頻制作額度，但 30 多項(xiàng) AI 工具只能使用其中 3 個(gè)，并且只能導(dǎo)出 720P 的視頻文件。對(duì)國(guó)內(nèi)用戶來(lái)說(shuō)需要搭梯子才能只用，并且最好使用 Chrome 或 Edge 瀏覽器打開，不然容易崩潰。所以目前只能期待國(guó)內(nèi)的視頻制作軟件可以努努力，早日推出與 runway 類似的功能。

此外 Runway 還舉辦了首屆 AI 電影節(jié)，號(hào)召全球藝術(shù)家使用最新的 AI 技術(shù)制作 1-10 分鐘的創(chuàng)意影片，優(yōu)勝者將獲得最高 10000 美元的獎(jiǎng)勵(lì)。目前電影節(jié)正處于接受投稿的階段，最終獲獎(jiǎng)結(jié)果會(huì)在 2 月份公布，到時(shí)候再和大家一起看看有哪些有意思的作品。

AI 電影節(jié)官網(wǎng)： https://aiff.runwayml.com/

Runway 的 AI 電影節(jié)官網(wǎng)公布的 AI 影片片段

以上就是為今天和大家分享的有關(guān) AI 技術(shù)在視頻制作中應(yīng)用，大家對(duì)此有什么看法和期待呢？歡迎在評(píng)論區(qū)分享。喜歡本期推薦的話記得點(diǎn)贊收藏，也可以轉(zhuǎn)發(fā)給身邊有需要朋友 。如果你有關(guān)于本文或者設(shè)計(jì)的疑問(wèn)，可以在評(píng)論區(qū)提出，我會(huì)第一時(shí)間為大家解答 ~

推薦閱讀：