LiveVideoStackCon2022 上海站：音視頻技術下一個風口在哪里

在去年的北京站大會籌備過程當中，我們曾經采訪過一些技術人員，有問到這么一個問題：“您認為目前我們所處的‘后疫情時代’，音視頻技術領域的下一個風口將會在哪里？”

最后大家的回答都不太一樣，這倒也的確是一個仁者見仁，智者見智的問題。我們摘選了如下幾個回答：

• 未來的方向是基于硬件、算法、網絡等等這一系列性能的提升，讓實時音視頻的應用場景變得更加貼近線下，延遲更低、沉浸度更高等等。
• 音視頻技術的需求還將會在直播、會議、電商、娛樂、協作方面繼續保持增長。
• 當前社會的發展依然面臨著很多的挑戰，比如碳中和問題、人口的增長放緩，以及在后疫情時代的經濟發展和遠程協同問題。相信國家在未來很長一段時間的注意力也會聚焦在這些問題上。如果音視頻技術在以上某個方向上的應用落地，能夠對這些方向形成助力，那么會更容易地成為下一個階段的風口。比如：音視頻通話對于留守兒童的關懷問題；低延時視頻傳輸在新能源汽車上的遠程操控能力；更加無縫嵌入到現有協同體系中的辦公協同應用等等；新能源發電的遠程監控和遠程排障方向等等。
• 音視頻領域的下個風口應該緊盯海外市場。因為海外市場擁有不同的國家、宗教、文化，不會被某一家公司壟斷整個市場。

從上述回答不難看出，雖然大家對音視頻技術這條垂直賽道的未來關注點不同，但是對這個領域可持續發展的信心感是很強烈的。無論是從底層技術的不斷打磨提升，還是對技術應用場景的穩固與擴展，亦或是另辟蹊徑，尋求海外商機，無疑都是將音視頻技術帶到更高更遠的地方，在不同的行業中發光發熱。

4月15-16日LiveVideoStackCon 2022 音視頻技術大會上海站與你一起探討未來音視頻有哪些新玩法，沉浸式音頻、架構演進與云端創新、多媒體傳輸優化、智能硬件與互聯、QoE保證、開源與創新場景，實現「音視頻 + 無限可能」。

日程海報首次發布，更多內容請持續關注

演講劇透：

新一代車載音頻系統實踐

馬桂林?科大訊飛 智能汽車事業部副總經理

科大訊飛杰出科學家

所屬專題：音視頻+

本次分享分為三個部分，首先是關于新一代音頻系統硬件介紹，尤其是硬件如何設計從而支撐新的場景需求。相比較于傳統的車內音頻需求，新的場景需求邏輯更為復雜，對性能要求更高，這就要求硬件設計在計算性能、音頻性能、接口、功耗、時延、擴展性等等方面都達到優異的性能，從而支撐各種復雜和高階的軟件和算法。

第二部分介紹新一代車載音頻系統的核心算法以及這些算法如何服務于各種場景。音效算法是各種場景服務的核心。為了滿足豐富的應用場景，我們的音頻系統包含了從基礎到高階的豐富算法，滿足用戶從安全駕駛、聲浪模擬到影音體驗的各種需求。我們自主研發的高端算法經過測試達到了優異的性能。

第三部分介紹軟硬件如何與生態、場景、內容等打通形成智能的場景化服務。軟硬件平臺做到了優異的性能是場景化服務的前提，但不是全部。車載音頻體驗需要與場景打通。有三種主要的場景構建方式：第一種是基于單一功能或者環境的場景化服務，例如聲浪的模擬；第二種是端到端的場景化構建，一端是內容，一端是車載音頻管理系統；第三種是結合多模態交互的場景構建，結合語音、視覺等多種方式構建車載音頻場景化的服務。

總之，新一代的車載音頻系統要求突出的軟硬件能力和豐富的場景化、個性化設計，從而將用戶體驗提升到一個新的維度。

Gstreamer中的視頻處理與硬件加速

何俊彥?英特爾 加速計算系統與圖形部工程師

所屬專題：開源與體驗創新

Gstreamer作為一個比較流行的開源多媒體框架，其優秀的架構使其具有高度的模塊化和良好的擴展性，并具有廣泛的應用前景。從廣義上說，不只是媒體流，Gstreamer可以擴展并處理任何一種數據流。在AI時代，隨著例如DeepStream， DLStreamer等AI插件的推出, Gstreamer必將被越來越多的應用于集編解碼、AI、渲染等于一體的綜合應用場景中。

本次分享將有三個部分，首先將會討論Gstreamer基于Pipeline和插件的工作原理，以及其機制是如何保證在其各個插件具有良好獨立性的前提下，實現插件之間無縫的數據傳遞與協作，從而使得Pipeline的搭建即簡單高效又靈活方便。

另外，本次分享將會介紹如何開發一個完整而又高效的Gstreamer插件，特別是基于GPU以及硬件加速的插件，以及在插件開發中的注意事項。

最后，隨著AI時代的到來，傳統的視頻處理過程會加入越來越多的AI處理。本次分享將介紹一些經典的Gstreamer Pipeline實例以及當下比較流行的AI應用，同時討論Gstreamer的未來發展與前景。

Shopee音視頻處理中臺落地應用

范志興?Shopee 視頻技術團隊負責人

所屬專題：視頻編解碼性能優化與體驗

隨著Shopee電商業務在東南亞等市場迅速展開，視頻和電商結合的應用迅速落地。比如feeds、rating流、買/賣家秀，直播帶貨，數字銀行開戶以及短視頻等。東南亞大部分地區都是欠發達地區，手機用戶大多使用的是國內2010左右普及的千元機機型，這些手機在視頻編解碼、圖像處理方面的性能存在嚴重性能瓶頸，網絡質量遠不如國內。在這樣的網絡條件下傳輸媒體數據談何容易。還有就是海量的視頻文件和直播視頻處理給Shopee后臺帶來了巨大的壓力。那么Shopee是如何通過技術手段來解決這一系列問題的呢？

本次分享將從4個方面為大家解開謎團。首先本次分享將會介紹落地了哪些應用，如：Shopee直播帶貨、視頻通話在線開戶、feeds流，Shopee video、seditor和云導播等等。

第二部分將會介紹與視頻編碼優化相關的工作，比如適應低帶寬和抖動網絡環境。這部分內容將從高清低碼、RTC場景的SVC編碼、前置處理/編碼性能調優，以及軟解碼快速精確seek等四個方面來展開。

第三部分將會重點介紹工程實現方面。首先是轉碼Pipeline實現，轉碼處理節點以region的方式組織，耗時短的節點，集成到同一個region， region內部串行，region之間并行，保證最大的處理輸出幀率。其次是自研混流服務，在直播帶貨連麥過程中，RTC房間為單個用戶時轉發媒體數據，緩存last gop，當有連麥者加入時無縫切換為混流模式。另外還有混流錄制，幀率對齊用戶端。

第四部分是有關落地計劃的介紹，如：手機端編解碼匯編優化，以提高H.265的覆蓋率；支持更多渲染特效；AI圖像增強等計劃。

大眾點評客戶端視頻實時超分實踐

周文業?美團點評 音視頻研發工程師

所屬專題：客戶端建設及調優實踐

視頻超分端上部署具有省流、實時等優勢。然而，隨著分辨率增加算力和存儲成本成倍提升，在不依賴硬件平臺優化的前提下，如何突破移動端算力限制、保持超分實時性、實現機型高覆蓋，并獲得明顯超分效果是大分辨率視頻端上實時超分落地必須面對的難點和挑戰。本次分享將從模型優化、工程優化、機型覆蓋、幀率保障等方面介紹大眾點評端上實時超分能力落地過程中所采用的解決方案和最佳實踐。

本次分享共分為4個部分，首先介紹端上超分推理如何處理實時性、超分效果和視頻分辨率的關系。涉及超分推理延遲優化、推理實時性的判定和超分效果評價，以及如何在滿足實時性和超分效果的前提下不斷提升目標視頻分辨率。

第二部分將會介紹超分模型如何落地到視頻播放的業務場景，包括超分架構設計、視頻超分播放流水線設計和超分監控設計。
另外，端上超分落地對實時性有很高的要求，而超分過程涉及到很多耗時任務，本次分享將介紹如何從流程簡化和過程加速角度進行實時性優化。

第四部分是通過端上超分推理需要考慮到的機型、分辨率和幀率等因素，將介紹如何通過超分規則控制資源分配、機型覆蓋。

以上僅為大會部分演講話題的提前劇透，更多精彩內容將在4月15-16日上海站大會進行分享~ 歡迎大家蒞臨LiveVideoStackCon 2022 音視頻技術大會 上海站，期待與你相遇在春暖花開的日子里。

點擊原文鏈接立即報名，可享九折優惠哦~