推薦閱讀：北京論道嘉賓演講大集合！

2023年6月15~16日，由流媒體網主辦，北京新媒體（集團）有限公司、北京聯通、北京電信、北京移動共同協辦的「北京論道暨第25屆中國智能視聽與科技創新高峰論壇」在北京隆重舉行。

本屆論道以“電視的未來與未來的電視”為主題，邀請到了智慧大屏產業的行業專家、企業翹楚蒞臨齊聚，多維角度透視當下大屏市場，共謀電視新未來。

【資料圖】

在15日召開的“IPTV價值高峰論壇”上，中國移動咪咕公司高級系統分析總監沈昕做了主題為《注入嶄新動能，釋放倍增效應——音視頻AI編碼助力大屏超高清業務創新》的演講。

以下為演講全文：

我主要想分享一下大屏超高清相關的業務和技術的進展，以及中國移動包括咪咕公司的未來規劃。

IPTV接下來是進一步向外延伸，還是回歸TV業務本身，這是大家在思考的問題。今天先從回歸的角度來展開，具體就是AI技術對大屏超高清業務的影響。

產業創新需要“新變量”

以家庭市場為主的大屏業務已經進入下半場，新變量可以是向外延伸，也可以是內化價值提升。2022年底，有線電視用戶跌至1.99億，OTT超10億，IPTV達3.8億戶，但部分省已出現IPTV用戶負增長的情況。從2007年到現在，大屏業務有三個階段的發展，接下來，能否進入二次業務創新階段？新技術對于IPTV能否產生新的量變？新變量又到底在什么地方？

根據第一性原理，回歸事物最基本的條件，是將其拆分成各要素進行解構分析，從而找到實現目標最優路徑的方法。電視是用來看的，需要精彩豐富的內容、清晰流暢的畫質、沉浸式觀看體驗，2022年國內支持4K和HDR的智能電視滲透率超過80%，但超高清真4K內容占比僅約5%。如何在源頭高效生產既適合傳輸、又適合播出的高質量內容？

五年前，我們就已經開始考慮怎樣能夠大量生產4K內容，因為技術條件的限制，以及生產能力等原因，高質量內容非常少，在播出覆蓋上也很難。但感謝AI技術在這兩年的應用，尤其是ChatGPT在圖象領域、文字領域讓我們看到引入機器學習是能夠加速整個高質量內容生產的。AI技術可對視頻畫質進行明顯提升，加速超高清內容生產進程，賦能超高清規模應用。

對咪咕來說，我們考慮的問題是如何能夠驅動雙千兆業務。從目標上來說，希望形成咪咕元宇宙的家庭場景，這需要有引擎化、數智化的生產能力，基于前幾年投入的超高清領域研究，我們能夠從清晰度、色彩、流暢度、自由視角等形成的超高清技術能力底座，最終通過超高清+元宇宙的方式驅動雙千兆業務的發展。

注入嶄新動能

回歸到超高清編碼本身，既然是作為后續元宇宙發展的基礎，以更逼真、更自由、更沉浸化的方式進行音視頻內容展現的話，要分很多維度。比如空間分辨率、時間分辨率、色彩分辨率、空間自由度、聲音分辨率、數據表示等。

清晰度增強——AI在“空間分辨率”中的應用方面，針對清晰度層面的增強，咪咕已經在做并且已經批量在用的，包括從標清到4K，我們基于生成對抗網絡（GAN）深度超分模型，進行海量高分辨率視頻、圖像素材訓練，在已訓練高頻細節部分獲得高精度復原效果。

我們首先輸入一個圖片信息，然后生成視頻結果，這個結果有很多分辨率不是那么清晰，同時再引入一個更高清的分辨率，由判別器來判斷哪一個圖片是更加合適的，并且把反饋的結果重新給到生成器。通過這樣一種方式，實際上形成了生成和判斷的博弈，訓練的場景越來越多的話，在生成結果上面也會越來越好?；谶@樣的原理，也需要采用周邊算法做進一步的提升，包括文字、人臉等進行優化。

流暢度增強——AI在“時間分辨率”中的應用方面，原理是基于視頻序列相鄰幀之間具有相似的空間和時間特征，經過CNN內多個卷積和反卷積層后生成新的中間幀，并通過海量素材訓練模型以達到穩定效果。算法周邊：結合以人眼主觀感受作為計算標準。

色彩增強——AI在“色彩分辨率”中的應用方面，原理是使用CNN和GAN對大量的SDR和HDR視頻數據進行訓練來學習轉換的映射關系，使用不同的網絡結構和訓練策略，以滿足不同的應用場景和性能要求，提高轉換的精度和效果。算法周邊：以人眼主觀感受調整色彩平衡、去噪等，提高視頻的質量和視覺效果。

老片修復方面，主要是AI數智化編碼能力的綜合應用，可以賦予經典影片、紀錄片、電視劇、文化專題片等新的?命，對文化傳承起到關鍵推進作用。傳統修復流程較復雜，耗費?量??物?和時間，基于AI的自動化修復技術，可極大加速翻新修復的進程。

360°視場自由——超高清FOV自由視角及自由縮放方面，原理上來說，人眼本身是有觀察范圍的，拍攝過程當中我們采用多機位的方式覆蓋360度環繞視頻內容。最終，用戶能夠自由地在全場景當中選擇自己感興趣的內容，進行更加清晰的觀看。

沉浸式三維聲——基于對象的“聲音分辨率”方面，在平面聲場的基礎上，增加了高度感，將每個聲音精準定位，使聲場還原為三維空間，能適應不同回放環境，為聽眾提供極致的沉浸式聽覺體驗。

關于未來

未來，下一代編碼技術朝著哪個方向發展？編碼技術本身也是希望能夠通過最小數據量盡量還原我們的物理世界，所以說通過引入AI技術，在壓縮方法上引入AI壓縮編碼，基于AI區域分隔，進一步降低碼率，同時能夠更加清晰地還原我們真實的世界。目前，智能編碼壓縮方法在逐步商用，從傳統基于塊的預測、補償、變換的混合編碼框架轉向端到端的AI壓縮編碼，以大幅提升壓縮效率。

體積編碼壓縮對象則處于實驗室階段，流程是二維視頻→三維體積視頻→光場全息視覺信號→光學高維度信號。視覺信號采集成像則未成熟，機器視覺編碼壓縮用途也沒有成熟。

另外，除了在視頻畫面增強領域的應用以外，AIGC也正在帶動內容供給側革命。信號源已經突破傳統現實世界的描述方法，開始走向AI強化和數字生成的新階段。

不過，AI看起來很美好，最主要的還是需要有大量的算力，所以后續來說，從運營商的角度，構建完整的算力網絡，才能夠支撐我們從內容到增強到生成的跨越?；谶@樣的算力網絡，包括AI編碼、AI識別、AI渲染，當某一天我們能夠完成整個算力網絡大規模部署的時候，有可能完全顛覆對生產的過程。

此外還存在一個疑問，未來的內容生產方向上，是從現實轉向數字，還是由數字表達現實，或者說是兩者的相互結合？但不管怎么說，面向高帶寬的用戶提供都是必不可少的。所以，至少當前階段我們能夠看到的是超高清內容的不足，而AI技術能夠實現整個視頻內容體驗的提升。

所以，面向未來，我們可以看到，AI編碼+云算力將推動業務“泛屏化”，同時，用戶的交互模式以及內容的展現形式都會有極大的豐富。謝謝大家。

責任編輯：房家輝

關鍵詞：