大家好,我是花生~
剛結束的第 34 屆 “飛天獎” 頒獎典禮想必很多人都有關注,最后是雷佳音獲得優秀男演員獎,趙麗穎獲得優秀女演員獎,《三體》、《狂飆》和《繁花》等 16 部作品獲得優秀電視劇獎,這些都是大家非常喜愛的演員和作品,能獲獎屬于實至名歸。
而在獲獎結果之外,我還注意到了這次的頒獎典禮上一個很特別的環節,即在最后的歌曲大合唱中,有一部分內容是由不同電視劇的主要角色 “演唱” 的 —— 之所以加引號,是因為歌并不是真人在唱,而是通過 AI 驅動合成的,看完下面的視頻大家就明白是怎么回事了。
很顯然主辦方是想通過這種方式集中傳達 “飛天獎” 的核心價值觀,內容形式在一眾官方節目中也算比較新穎,看得出來是花了心思的。但是部分畫面中扭曲的人臉和失真聲音還是讓整個視頻顯得有些怪異搞笑,因此也引來了不少網友的調侃。
這個視頻的制作方式應該是先在 easy-wav2lip 等工具中根據音頻修改人物口型;再克隆人物的音色,替換歌曲原本的人聲,合成到一起就是一個新的視頻了。 雖然效果算不上優秀,但制作時無需真人出鏡、無需再次布景妝造,比真實拍攝要省心省力很多,由此也能看出官方對 AI 技術是持歡迎態度的。
在之前一篇分析 B 站 AI 整活視頻的文章中,我還介紹過另一種類似的視頻制作方法:用 LivePortrait 的將真人唱歌時的面部表情復刻到圖片角色身上,它的效果會比 easy-wav2lip 更準確,具體內容可以看這里:
而在最近,AI 音視頻領域又出現了很多新的技術,能直接解決一些我們覺得費時難搞的問題,非常值得關注,下面就一起來看看它們的具體作用吧~
作為 AI 數字人領域的 Top1,我之前多次向大家介紹了 Heygen 的數字人合成和視頻無痕翻譯功能,非常好用。而最近它又連續推出了兩個重大更新,讓這些能力有了進一步的提升。
一是推出新的 Avatar 3.0 模型,能實現「全身動態」效果。也就是我們用文本驅動數字人說話時,Ta 不再只有簡單的嘴型動作,而是可以根據腳本,生成與之適配的聲調、面部表情和身體動作。
比如下面的這個視頻中,Heygen 分別演示了數字人在 Calm(平靜)、Serious(嚴肅)狀態下的語氣區別。從中可以看到, 數字人在說話時五官肌肉有豐富的變化、用力時頸部會前伸、換氣時胸部有明顯的起伏,這讓他的形象非常真實可信。此外 Ta 還能模仿人唱歌的狀態,甚至連講解視頻的主持人本身也是一個數字人,效果實在令人震驚。
由 AI 數字人演示的 HeyGen Avatar 新功能
二是它的 AI 視頻無痕翻譯功能再次升級,之前是可以實現腳本翻譯、音色克隆和唇型一致,現在則是連字幕和畫面中的文字也能被識別,然后翻譯成 100 多種指定的語言,且文本風格會自動適配視頻主題。有了這樣的技術,以后的視頻翻譯和搬運工作會更加高效便捷。
等未來類似的技術普及開來后,它對每個人工作生活的影響也會越來越明顯。如果你不會外語,可以直接將視頻轉換為純中文觀看,從而學到更多高質量的知識;如果你是視頻內容創作者,可以一鍵將自己的視頻轉換為多種不同的語言,在全世界范圍內傳播,讓勞動的價值最大化,這些都是有利于普通人的成長發展的。
將一段英文視頻 ,自動翻譯、配音并修改為日語、法語等不同版本
之前在交流群里有小伙伴在問:有沒有可以只改變歌曲的歌詞、不改變旋律和音色的 AI 工具,當時我還真沒有找到,而最近一款名為 Seed-Music 的技術框架則可以完美解決這個問題了。
如下面這個視頻, 基于一段中文歌曲的片段,按同樣的結構修改歌詞后,Seed-Music 能將其用原來的旋律和聲音演唱出來,結果聽起來相當不錯。如果這項技術之后開放,視頻/音樂等內容的二次創作肯定會迎來爆發式的增長,因為操作門檻真的變成 0 了,任何人都可以對自己喜歡的內容進行重新編輯。
除此之外,Seed-Music 也和 Suno、Udio 一樣, 支持文本生成歌曲、歌曲仿寫、純器樂生成、文本控制歌曲風格、情緒、節奏等功能;而且它還有自己的優勢,包括通過曲譜+歌詞生成歌曲、克隆人聲、歌曲風格替換等。Seed-Music 的中文內容生成表現非常穩定,優于國外的 2 款工具,如果未來能開源或商業化落地,會是一款更適合中國人的 AI 歌曲生成工具。
其實每個人都能從 AI 音視頻技術的發展中獲益。專業人員可以用 AI 優化傳統工作流程,釋放自己的生產力,把更多時間用在打磨創意、提升內容質量上;而普通人則可以用 AI 輕松入門視頻創作,一個人制作出創意短片甚至商業化的大片,這也是目前相當熱門的一種變現渠道。
但從另一方面來說,AI 技術的應用也存在很大風險。比如前段時間爆出的韓國 DeepSeek 換臉門事件,將技術發展不受監管控制的后果展現地淋漓盡致;B 站一位 Up 主還專門用 AI 換臉做了一次測試,結果只用 3 小時就輕松騙走了媽媽一年的工資,這些都為我們敲響警鐘。
因此,我們一方面要慎重使用這些 AI 工具,遵循它們的使用規定,不將其用于非法目的,不將自己置于容易陷入版權糾紛的境地;另一方面更是要提高自身的防范意識,不要隨意將自己的正臉視頻、聲音音頻分享給陌生人;多向身邊的親友、特別是老年人科普這方面的知識,甚至可以先約定好緊急情況下的溝通方式,以免上當受騙。
那么以上就是都對近期 AI 視頻發展的相關介紹,喜歡的話一定記得點贊評論支持一波,我會更有動力為大家分享更多有用的 AI 知識。想了解更多設計神器的話,歡迎關注優設網和優設微信視頻號,超多好用的設計神器等你探索。也歡迎大家掃描下方的二維碼加入“優設 AI 知識交流群”,和我及其他設計師一起交流學習 AI 知識~
另外我的最新課程《AI 視頻零基礎系統入門》已經上線了,可以幫你快速掌握目前 95% 人們 AI 視頻生成工具,對 AI 視頻感興趣的小伙伴不要錯過。課程內容包括:
- 從文生視頻、圖生視頻、視頻生成視頻、數字人視頻 4 個方面,系統全面地帶你了解目前主流的 AI 視頻制作方式以及優缺點;
- 十余種熱門 AI 視頻生成神器用法詳解,輕松掌握大神同款工具;
- 附贈課程專屬工具清單,收錄了近 300 款 AI 視頻、音頻、文案神器,全面賦能 AI 視頻創作
- 高質量免費自學資源、最新 AI 視頻資訊獲取渠道全分享
相關鏈接:
- Heygen 官網: https://heygen.com/
- Seed-Music 官網: https://team.doubao.com/en/special/seed-music?view_from=homepage
- 《只用三小時,AI 換臉騙走了我媽一年的工資》: https://www.bilibili.com/video/BV1jaHfekE18
推薦閱讀:
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
AI輔助海報設計101例
已累計誕生 737 位幸運星
發表評論 為下方 7 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓