【Video Coding】視頻處理與壓縮技術總結筆記

視頻處理與壓縮是多媒體計算與通信領域的核心主題之一，是連接視頻采集傳輸和視覺分析理解的關鍵橋梁，也是諸多視頻應用的基礎。本文從視頻處理技術、視頻壓縮技術、多視點/立體視頻壓縮以及國內外研究進展四個方面對視頻處理與壓縮技術進行了匯總。主要針對《視頻處理與壓縮技術》一文進行總結，對其中涉及的論文和相關提案進行了匯總和整理，方面讀者查閱和學習。

文章目錄

• • 引言
  • 1. 視頻處理技術
  • • 1. 1 視頻超分辨
    • • 1.1.1 對齊超分辨算法
      • 1.1.2 非對齊超分辨算法
      • 1.1.3 視頻插幀
    • 1. 2 視頻恢復
  • 2. 視頻壓縮技術
  • • 2. 1 混合框架中的傳統技術
    • 2. 2 混合框架中的深度學習技術
    • 2. 3 端到端深度學習視頻壓縮
    • 2. 4 標準進展
  • 3. 多視點/立體視頻壓縮
  • 4. 國內外研究進展

---

引言

• 1940—1950年是視頻技術基礎理論發展的關鍵期：香農以及信息論三大定理；
• 20世紀70年代是視頻技術研究的快速發展時期，伴隨著CCD與CMOS成像技術的發展，具備了堅實的硬件基礎；
• 20世紀80年代是視頻處理領域發展的萌芽期：CCITT于1984年頒布了首個視頻壓縮國際標準H.120；
• 20世紀90年代至21世紀初是視頻壓縮標準研究的黃金時代：ISO/IEC,ITU-T先后發布H.26X標準；

1. 視頻處理技術

1. 1 視頻超分辨

視頻超分辨率算法分為傳統基于信號處理的方法和基于深度學習的方法。

下面從是否使用對齊類方法的角度介紹國際視頻超分辨的研究現狀。

1.1.1 對齊超分辨算法

對齊視頻超分辨算法通過網絡提取運動信息，使相鄰幀與目標幀進行對齊，然后再進行后續重構。該類方法主要采用運動補償和可變形卷積兩種常用的幀間對齊技術。

國外視頻超分辨率對齊方法大多采用運動補償和運動估計技術。運動估計采用光流方法，

運動估計的目的是提取幀間的運動信息，而運動補償是根據幀間的運動信息進行幀間的矯正操作，使一幀與另一幀對齊。

• 國際

  • Kappeler等人(2016) 提出的視頻超分網絡(video super resolution network，VSRnet) 由3個卷積層組成，除最后一個外，每個卷積層后面都有一個非線性激活單元(rectified linear unit，ReLU)。VSRnet使用多個連續幀，這些連續幀都是補償幀。目標幀與補償幀之間的運動信息由Druleas 算法計算得出(Drulea 和Nedevschi,2011)。此外，VSRnet提出了濾波器對稱增強(filter symmetric enhancement，FSE)機制和自適應運動補償機制，分別用于加速訓練和減少冗余的補償幀影響，從而提高視頻的超分辨率性能。
  • Caballero等人(2017)提出的視頻子像素卷積網絡(video efficient sub-pixel convolutional neural network，VESPCN) 設計了一種空間運動補償變壓器(motion compensation transformer，MCT)模塊用于運動估計和補償，并將補償后的幀送入一系列卷積層進行特征提取和融合，最后通過亞像素卷積層得到超分辨率結果。MCT模塊采用卷積神經網絡提取運動信息，進行運動補償，使用由粗到細的方法來計算圖像序列的光流。
  • Sajjadi 等人(2018 )提出了FRVSR(frame-recurrent video super-resolution) 網絡，主要特點在于幀間的對齊方式，該網絡不會直接矯正目標幀的前一幀( 低分辨率幀) ，而是扭曲矯正前一幀對應的高分辨率幀。
  • 受反投影算法(Haris 等，2018;Irani 和Peleg，1991，1993)的啟發，Haris 等人(2019)提出了遞歸反投影網絡(recursive back projection network，RBPN) ，由特征提取模塊、投影模塊和重構模塊組成。特征提取模塊包含提取目標幀特征和提取相鄰幀特征兩個操作，并計算從相鄰幀到目標幀的光流，然后進行隱式地對齊。
  • Bare 等人(2019)提出實時視頻超分辨率(real time video super resolution，RTVSR)，通過運動卷積核估計網絡，使用編解碼結構估計目標框架與相鄰幀之間的運動，產生一對與當前目標幀和相鄰幀對應的1維卷積核，然后利用估計的卷積核對相鄰幀進行矯正，使其與目標幀對齊。

• 國內

  • Tao 等人(2017) 提出面向細節增強的深度視頻超分網絡(detail-revealing deep video super-resolution，DRVSR)，提出一種亞像素運動補償層(subpixel motion compensation，SPMC)，可以根據估計的光流信息對相鄰輸入幀同時進行上采樣和運動補償操作。此外，融合模塊采用卷積長短期記憶單元(convolutional long-short term memory，ConvLSTM)模塊(Shi等，2015)來處理時空信息。
  • Wang 等人(2018b) 提出光流超分的視頻分辨率提升網絡(super-resolving optical flow for video super resolution，SOFVSR)，采用一種由粗到細包含光流網絡(optical flow network，OFNet)的方法估計幀間的光流，得到高分辨率光流。然后通過轉換機制space-to-depth將高分辨率( high resolution，HR)光流轉換為低分辨率(low resolution，LＲ) 光流。相鄰幀通過LR光流矯正，與目標幀對齊。
  • Xue 等人(2019) 提出面向任務驅動的光流網絡(task-oriented flow，TOFlow) ，將光流估計網絡與重構網絡相結合，共同進行訓練，采用空域金字塔網絡(spatial pyramid network，SpyNet)(Ranjan和Black,2017)作為光流估計網絡，然后采用空間變換網絡根據計算出的光流對相鄰幀進行變形。不足：使用最先進的光流估計網絡也不容易獲
    得足夠高質量的運動估計;使用精確的運動場，運動補償也會在圖像結構周圍產生偽影，這些偽影可能會傳播到最終重建的HR幀中。
  • 可變形卷積網絡最早由Dai等人(2017a)提出，隨后Zhu等人(2019b)提出了改進版本。采用可變形卷積的超分辨方法主要有香港中文大學提出的增強可變卷積網絡(enhanced deformable convolutional networks，EDVR)(Wang等，2019d)、華南理工大學提出的可變形非局部網絡(deformable non local network，DNLN)(Wang等，2019a)以及清華大學和美國羅切斯特大學提出的時間形變對齊網絡(time deformable alignment network，TDAN)(Tian等，2020)。
  • EDVR方法由對齊模塊、融合模塊和重建模塊3部分組成。對齊模塊對輸入幀進行對齊，然后通過融合模塊將對齊后的幀進行融合，并將融合后的結果送入重構模塊細化特征，通過上采樣得到一幅HR圖像，稱為殘差圖像。最后將殘差圖像添加到直接上采樣目標幀中得到最終結果。
  • DNLN 方法設計了基于可變形卷積和非局部網絡(Wang等，2018d)的對齊模塊和非局部注意模塊。對齊模塊使用原始可變形卷積內的層次化特征融合模塊(hierarchical
    feature fusion block，HFFB)(Hui等，2020)生成卷積參數。此外，DNLN通過級聯的方式利用了多個可變形卷積，使得幀間對齊更加精確。非局部注意模塊以目標幀和對齊的相鄰幀為輸入，通過非局部操作生成引導注意的特征。
  • TDAN方法對目標幀和鄰近幀進行形變卷積，得到相應的偏移量。然后根據偏移量對相鄰幀進行變形，使其與目標幀對齊。

1.1.2 非對齊超分辨算法

與對齊方法不同，未對齊方法在重建前不進行幀對齊，分為空間未對齊和時空未對齊兩種。

• 空間非對齊方法不需要幀間的運動估計和運動補償等對齊操作
  空間非對齊方法直接將輸入幀輸入到2維卷積網絡中進行空間特征提取、融合和超分辨率操作，不進行幀間的運動估計和運動補償等對齊操作。

  • 如視頻超分殘差網絡(VSRRes-Net, Lucas等 2019) ?；谑褂肦CNN處理視頻序列這一
    思想，提出了雙向循環卷積網絡(bidirectional recurrent convolutional network，BRCN) (Huang 等，2018) 、殘差遞歸卷積網絡(residual recursive convolution network，RRCN) (Li 等，2019a) 、殘差可變時空卷積(residual invertible spatio-temporal network，RISTN)(Zhu 等，2019b) 和時空卷積網絡(spatial-temporal convolution network，STCN) (Guo 和Chao，2017)等RCNN 方法實現視頻超分辨率。
  • VSRResNet通過對抗性訓練解決視頻超分辨率問題，由鑒別器決定輸出的是生成圖像還是真實圖像，使生成器產生更接近真實圖像的結果。
  • BRCN 利用RCNN適合處理序列數據的優勢處理視頻中連續幀之間的依賴關系，包含前向和后向兩個網絡，兩個網絡結構相似但處理順序不同。前向網絡中，隱含層各節點的輸入有3個，分別是前一層當前時刻i、上一時刻i－1的輸出和當前層中前一個節點的輸出，分別用于提取空間相關性和連續幀之間的時間相關性。
  • RRCN是一個學習殘差圖像的雙向遞歸神經網絡，提出一種非同步的全循環卷積網絡，非同步指多個連續視頻幀輸入但只有中間幀需要超分辨重建。采用局部—全局—全變量組合(global local total variation，GLG-TV)方法(Drulea和Nedevschi，2011)對目標幀及其相鄰幀進行運動估計和補償。
  • RISTN 基于可逆網絡(Jacobsen等，2018)設計了殘差可逆塊用于提取空間信息的有效視頻幀，利用LSTM 提取時空特性，由時間模塊、空間模塊和重構模塊3部分組成?？臻g模塊主要由多個平行殘差可逆單元組成，其輸出作為時態模塊的輸入。在時間模塊中，提取時空信息后，采用稀疏融合策略有選擇地融合特征。最后，在重構模塊中通過反卷積重建目標幀得到高分辨結果。
  • STCN 是一種不需要運動估計和運動補償的端到端視頻超分辨率方法，利用LSTM算法提取幀內的時間信息(Hochreiter和Schmidhuber，1997)，與RISTN類似，該網絡由空間模塊、時間模塊和重構模塊3 部分組成。武漢大學、哈爾濱工業大學和鵬城實驗室聯合提出的漸進非局部殘差融合( progressive fusion of non local network，PFNL) (Yi 等， 2019) 采用非局部殘塊提
    取時空特征，采用漸進融合殘差塊( progressive fusion of residual block，PFＲB) 融合時空特征。最后，通過跳接操作將雙三次插值向上采樣的輸入幀和亞像素卷積層的輸出進行接合，得到最終的超分辨率結果
  • 復旦大學提出的網絡與普通的運動估計和運動補償技術不同，將低分辨率的未對齊視頻幀和前一幀的高分辨率輸出直接作為網絡的輸入以恢復高頻細節，保持時間一致性(Yan 等，2019a)

• 時空未對齊方法的特點是同時利用輸入視頻中的時空信息進行超分辨任務

  • 動態濾波器(dynamic upsampling filter，DUF)。DUF(Jo等，2018)采用動態濾波器結構，執行濾波和上采樣操作，與3維卷積學習的時空信息相結合，避免了運動估計和運動補償。為了增強超分辨率結果的高頻細節，DUF使用網絡估計目標幀的殘差圖，一幀的最終輸出結果是殘差映射和經過動態上采樣濾波器處理的幀的總和。此外，DUF提出一種基于時間軸的視頻數據增強，對不同時間間隔內按順序或倒序采樣視頻幀，得到不同運動速度和方向的視頻。
  • 3維超分網絡(3-dimensional super resolution network，3DSRnet)。3DSRnet(Kim 等，2019) 使用3D卷積提取連續視頻幀之間的時空信息用于視頻超分辨率任務。隨著網絡的深入，3 維卷積后的特征圖的深度也會變淺。為了保留深度和時序信息，3DSＲNet 采用擴展操作，即在連續幀的開始和結束分別增加一幀。同時提出一種實際應用中場景變化的方法，采用淺分類網絡判斷輸入的連續幀，有效解決了場景變化導致的性能下降問題。

1.1.3 視頻插幀

• 國際
  • Meyer等人(2018)基于相位的運動表示提出了PhaseNet結構，對運動模糊或閃動變化產生了比較魯棒的結果，但不能有效重建詳細的紋理。
  • 核方法在2017年是一個研究熱點，Niklaus等人(2017a，b)連續在ICCV和CVPR會議上提出了基于核的方法，為每個像素估計一個自適應卷積核?；诤说姆椒梢援a生合理的結果，但是不能處理大運動場景。
  • 為了有效利用運動信息，Niklaus和Liu(2018)使用前向變形技術從連續的兩幀中生成了中間幀，然而前向扭曲矯正存在像素缺失和重疊。因此，大多數基于流的算法都是基于反向扭曲矯正的。為了使用反向扭曲，需要估計中間運動( 即中間幀的運動向量)。

1. 2 視頻恢復

視頻恢復是視頻處理的關鍵任務之一，對視頻主客觀質量提升和下游視覺分析任務具有至關重要的作用。從成像設備捕捉到的降質圖像中恢復出富有細節的清晰場景圖像是一個值得長期研究的問題，降質模型包括模糊、噪聲和天氣效應等。

在過去的幾年中，用于從靜態/動態場景的視頻恢復算法已經探索并形式化描述了降質模型的很多固有特性。這些算法主要分為4 類: 基于時域的算法、基于頻域的算法、基于低秩和稀疏性的算法以及基于深度學習的算法。

• 基于時域的方法

  • Garg 和Nayar利用時空相關模型描述雨水的動態特性，基于物理的運動模糊模型解釋雨的光度特性，通過利用連續幀之間的差異消除雨痕。
  • Park和Lee(2008) 提出估計像素的強度，通過卡爾曼濾波器遞歸恢復視頻，在具有固定背景的視頻中表現良好。
  • Brewer 和Liu(2008)借鑒成像過程中的光學和物理特性，提出首先識別出顯示短時強度峰值的受雨影響區域，然后用連續幀中的平均值替換受雨影響的像素，能夠區分由雨引起的灰度變化與由場景運動引起的灰度變化，然而對檢測重疊的形狀各異的雨痕造成的大雨并不適用。
  • 為了同時處理動態背景和相機運動，Bossu 等人(2011) 利用高斯混合模型(Gaussian mixture model，GMM) 和幾何矩估計雨痕的方向直方圖。
  • 受貝葉斯理論啟發，Tripathi和Mukhopadhyay(2011)依靠降雨的時間特性建立雨痕去除概率模型。不足：由于受雨影響的像素和無雨像素的灰度變化因波形的對稱性而異，因此使用灰度波動范圍和擴展不對稱性兩個統計特征區分雨痕與無雨運動物體。
  • 為了進一步減少連續幀的使用，Tripathi和Mukhopadhyay(2012)轉向采用時空過程，與依靠降雨的時間特性建立的雨痕去除概率模型(Tripathi和Mukhopadhyay，2011)相比，檢測準確度較低，但具有更好的感知質量。
  • Zhang 和Patel(2017)嵌入雨的時域和色度特性，并利用K-means聚類從視頻中區分背景和雨痕。這個方法在處理小雨和大雨以及對焦/不對焦雨時效果很好。然而，由于背景的時間平均，該方法經常趨于使圖像模糊。
  • Zhao 等人(2008) 利用雨痕的時空特征設計了用于檢測和去除降雨的直方圖模型，該模型嵌入了簡潔、低復雜度的K-means 聚類算法(Zhang 等，2006)

• 基于頻域的方法

  • Barnum 等人利用模糊的高斯模型近似估計了雨滴和頻域濾波導致的模糊效果，模擬雨/雪導致的能見度下降。適用于具有場景運動和攝像機運動的視頻，并且可以有效地分析重復的降雨模式。不足：模糊的高斯模型不能總是覆蓋不夠銳利的雨痕，當雨痕的頻率成分不按順序排列時，基于頻率的檢測方式常常會出錯

• 基于低秩和稀疏的方法

  • 為了克服基于樸素最大值后驗方法的局限性，同時避免啟發式邊緣預測步驟，一些學者設計了有效的圖像先驗，如歸一化稀疏性先驗(Krishnan等，2011) 和L0正則先驗(Zoran 和Weiss，2011)以去除視頻中的模糊效應。
  • Chen 和Hsu(2013)從雨痕的相似性和重復性出發，提出了一個從矩陣到張量結構的低秩模型，以捕獲時空相關的雨痕特性。
  • Chen和Hsu(2013)設計了基于動態場景運動的分割算法，利用光度和色度約束進行雨水檢測以及雨痕動態特性建模，可以在像素復原過程中自適應地利用空間和時間信息，但是仍然無法很好地適應相機抖動(Ren等，2017)。
  • Kim 等人(2015) 提出從當前幀中減去時域上對齊的幀以獲得初始降雨圖，然后通過支持向量機將其分解為兩種基本矢量。
  • 為了處理有顯著噪聲和離群值的低質視頻，Hu等人(2018b)改進了現有方法以提升重建
    視頻處理離群值時的魯棒性。
  • 考慮到大雨和動態場景，Ren等人(2017)將雨痕分為稀疏層和稠密層，并將運動物體和稀疏降雨條紋的檢測形式轉化為多標簽馬爾可夫隨機場，將稠密的雨痕建模高斯分布。
  • Jiang 等人(2017，2019)提出一種新穎的基于張量的視頻雨痕去除方法，全面分析雨痕和無雨視頻的判別固有特性。具體來說，雨滴沿雨滴方向稀疏且平滑，干凈的視頻沿雨水垂直的方向具有平滑度，沿時間方向具有全局和局部相關性。
  • Wei等人(2017)將雨層編碼為基于塊的高斯混合，通過整合運動對象的時空平滑配置和背景場景的低秩結構，提出一種簡潔的模型去除雨痕，能夠適應更大范圍的降雨變化。
  • 受Zhang 和Patel(2017)工作的啟發，Li等人(2018b)考慮了視頻中雨痕的兩個內在特征，即重復的局部圖案稀疏地散布在視頻的不同位置和由于它們出現在距攝像機的距離不同的位置上導致的多尺度特性，提出了多尺度卷積稀疏編碼模型(multi
    scale-convolutional sparse coding，MS-CSC) ，類似于Wei 等人(2017)的工作，分別使用L1 和總變分(total variation，TV)規范特征圖的稀疏性和運動對象層的平滑度。這種編碼方式使得模型能夠從雨視頻中適當地提取自然雨痕。

• 基于深度網絡的方法

  • Chen 等人(2018a) 提出了一個CNN框架用于視頻去雨，可以處理帶有不透明雨痕遮擋的暴雨。該方法采用超像素作為基本處理單元，能夠對具有高度復雜和動態場景的視頻內容進行對齊和遮擋消除。
  • Liu 等人( 2018) 建立了一個混合降雨模型描述雨痕和遮擋，利用深度ＲNN(recurrent neural network) 設計了聯合遞歸去雨和重建網絡( joint recurrent rain removal and restoration network，J4R-Net)，無縫集成了降雨分類、基于空間紋理外觀的去雨和基于時序一致性的背景幀細節重建，通過動態檢測視頻上下文環境實現去雨，設計了動態路由殘差循環網絡(dynamic recurrent rain removal network，D3Ｒ-Net)和用于去除視頻雨水的空間時間殘差學習模塊
  • Yang 等人(2019b) 建立了一個雙流正則化約束的兩級遞歸網絡，以進行視頻合成降雨合成模型的逆恢復過程。同時，考慮到相鄰幀高度相關可視為同一場景的不同版本且雨痕沿時間維度隨機分布，Yang等人(2019a)構建了一個兩階段的自學習去雨網絡，充分利用時域相關性和一致性來消除雨痕。

2. 視頻壓縮技術

2. 1 混合框架中的傳統技術

傳統視頻編碼采用基于塊劃分的混合編碼框架，包括幀內預測、幀間預測、變換、量化、熵編碼和環路濾波等技術模塊。

• 編碼快劃分：H.264/AVC采用基于16x16的塊劃分，H.265/HEVC中采用了四叉樹劃分結構，H.266/VVC中，采納了高通公司(Chen等人，2018a)提出的四叉樹、三叉樹和二叉樹聯合的多級劃分方式，有效提高了編碼框架的靈活性。

  • 區別于之前的對稱四叉樹、二叉樹劃分，Wang等人(2019b)在四叉樹、二叉樹劃分的基礎上提出了一種非對稱的三叉樹劃分方式以適應更高分辨率、更多樣的視頻內容。
  • Fu 等人(2019)提出了非對稱劃分方式(unsymmetrical quad tree，UQT)，可以劃分出四叉樹、二叉樹(quad tree plus binary tree，QTBT) 和擴展四叉樹( extended quad tree，EQT) 無法劃分出的形狀。
  • 為了更好地擬合編碼單元中信號的變化規律，清華大學提出了一種“幀內導出樹”劃分技術( Wang 等，2019c) ，將一個幀內編碼單元劃分成兩個或四個預測單元，同時規定了相應預測單元對應的變換單元的劃分方式。

• 幀內預測（利用鄰近塊之間的空域相關性來消除空域冗余）：HEVC 中的幀內預測包含平面( planar) 預測、直流(direct current，DC)預測和角度預測等模式。在幀內預測部分，預測像素濾波技術得到了較多關注。

  • Said等(2016)提出基于位置的幀內預測組合( position dependent intra prediction combination，PDPC)，使用邊界參考像素以及濾波后的邊界參考像素對傳統平面預測、直流預測和角度預測模式的結果進行修正，以降低預測失真。
  • Fan 等人(2019) 提出了一種幀內預測濾波方式，通過對一定范圍內的邊界像素使用左邊界或上邊界參考像素對預測值進行加權濾波，有效減少了預測噪聲帶來的影響。
  • 騰訊公司提出了一種多層次幀內像素濾波技術(Wang等，2019e)，有別于傳統的針對參考像素的濾波，該方法根據視頻信號位置、與參考像素距離決定濾波方式。
  • （跨分量預測技術）Li等人(2020a)利用亮度參考邊界和色度參考邊界信息構建線性預測模型，有效利用分量間的相關性以降低分量間的冗余。
  • 針對屏幕內容視頻，Xu等人(2016)提出了幀內塊拷貝技術，允許編碼單元將當前幀內的已編碼塊作為預測塊，大幅提升編碼效率。

• 幀間預測（利用鄰近幀之間的時域相關性來消除時域冗余）：運動矢量編碼消
  耗的比特數制約著壓縮性能。

  • Zhang等人(2018a)提出一種運動矢量精度的自適應算法，與HEVC中固定1/4像素的運動矢量精度不同，該方法為運動矢量設置了整像素、4像素和1/4像素等多種可選項，通過率失真優化的方法進行編碼端決策，提升運動矢量的表示能力。
  • Xiu等人(2018)提出一種高級時域運動矢量預測技術(advanced temporal motion vector prediction，ATMVP)，對編碼單元進行細分，針對每個編碼單元在每個參考方向上導出多組運動矢量預測信息，通過這些運動信息對當前編碼單元內的子塊分別進行運動補償，提升預測的準確度。
  • Li等人(2015) 提出一種仿射變換運動補償預測方法，對每個子塊計算其在仿射運動場中的運動矢量，從而進行子塊的運動補償，可以有效提升具有縮放、旋轉、透視和其他不規則運動場景的編碼性能。
  • Zhang 等人(2020a)提出一種交織仿射變換運動補償方法，根據兩種不同的劃分模板將編碼塊劃分為子塊并進行仿射運動補償，然后加權求和得到最終預測塊。
  • Li等人( 2019b)通過對已編碼區域的運動信息建模，提出一種基于歷史信息的運動矢量預測方式，利用非局部相似性的原理獲取更多非局部的運動矢量候選。
  • Fang等人( 2020)提出一種基于子塊的運動矢量角度預測方法，預設了5種角度，按照定義好的角度方向尋找每個子塊對應的運動矢量。
  • Chen 等人2018b)提出的解碼端運動矢量修正技術對雙向預測的兩個運動矢量通過雙邊匹配進行進一步優化。
  • Jin 等人(2007)提出一種幀間幀內聯合預測方式，最終的預測塊由兩種預測方式加權得到，融合幀內預測和幀間預測的結果可以達到更優的像素預測。

• 變換（作用是去除殘差信號的統計相關性，變換過程是可逆的）：HEVC中對殘差信號進行一次變換，主要包含整數離散余弦變換和整數離散正弦變換兩種變換方式。

  • Koo等人(2019)在VVC 中提出一種二次變換技術——低頻非分離變換(low-frequency non-separable transform，LFNST)，可以使殘差信號能量進一步集中，有效減少殘差編碼消耗的比特數。
  • 華為提出一種子塊變換技術(Zhao等，2019b)，假設預測殘差分布在殘差塊的局部區域，僅針對殘差塊的一個子塊進行變換處理，從而提升壓縮性能。
  • Wang 等人(2018a) 對幀間預測殘差分布特性進行分析，提出基于位置的變換技術，考慮到編碼單元中不同位置的幀間預測殘差分布特性，對行變換和列變換分別使用兩種變換核，這種基于位置的綁定方式能有效適應不同位置幀間殘差的分布規律。
  • Zhang 等人(2020b) 提出一種隱擇變換技術，為當前殘差塊預設了兩種變換核，通過率失真優化決策過程選擇更優的變換核，選擇結果并不在碼流中傳輸，而是通過符號隱藏方式標識。

• 量化：量化是變換后對變換系數的處理，也是壓縮失真的主要來源（量化不可逆，會造成失真）。將變換系數劃分為不同的區間，每個區間用一個標號代表，標號數量小于原始數據量，由此達到壓縮的目的。Schwarz 等人(2018) 提出一種上下文依賴量化(dependent quantization，DQ) 方式，此方法與HEVC中常用的獨立標量量化相比，將變換系數在向量空間中進行更加密集地壓縮，可以有效減小原始變換系數與量化后系數之間的差值，從而降低壓縮失真。

• 熵編碼：用于去除統計域的冗余，將編碼控制數據、量化變換系數、幀內預測數據、運動數據和濾波器控制數據等編碼為二進制數進行存儲和傳輸。Lyu等人(2020)提出一種基于掃描區域的系數編碼方案，使用一組常數控制量化系數非零的位置，使用率失真優化方法選擇最優掃描區域，碼率和失真之間達到較好的平衡。

• 環路濾波：濾波是去除壓縮失真的關鍵技術，可以明顯提高重建視頻的主客觀質量，提高視頻壓縮的效率。

  • VVC中，Karczewicz等人(2017)提出基于幾何變換的自適應環路濾波技術，根據圖像亮度分量的梯度信息進行聚類，對每種類別的像素點使用臨近位置的點進行自適應濾波，從而最小化原始圖像與重建圖像之間的均方誤差。
  • Misra等人(2019)探究視頻不同分量之間的相關性，利用維納濾波原理，提出跨分量的自適應環路濾波技術，利用結構信息保存更加完好的亮度分量，對色度分量進行濾波，大幅提升了色度分量的壓縮性能。
  • Zhang 等人(2015)提出一種非局部結構相似性濾波技術，通過統計局部多個像素發生失真得出的規律特性推斷更優的全局優化策略，雖然復雜度較高但效果明顯，全局優化處理能夠帶來明顯的效率提升。
  • Jian 等人(2020)提出一種基于像素紋理方向特性的濾波技術，通過紋理特性得到更精細的分類，在分類結果上進行不同的偏移值補償，從而有效降低量化失真。

2. 2 混合框架中的深度學習技術

• 幀內預測

  • Pfaff 等人(2018)采用全連接網絡進行幀內預測，利用當前塊的上下文信息為不同的預測模式訓練不同的網絡，并且根據上下文，額外訓練一個網絡預測不同模式的概率。
  • Li 等人(2018c)提出一種全連接網絡用于幀內預測，對于當前塊，使用其左側、上側以及左上重建像素作為幀內預測上下文信息輸入神經網絡，預測出當前塊，并將該網絡預測作為一種新的模式，與HEVC已有的35種幀內模式進行率失真優化。
  • Cui 等人(2017) 提出一種幀內預測卷積神經網絡，對HEVC編碼器的預測塊進行預測增強處理，并聯合每一個預測塊的左側、上側以及左上的區域作為幀內預測上下文信息聯合輸入神經網絡。
  • 與卷積網絡不同，Hu 等人(2019)用當前編碼塊的空域重構像素作為自回歸模型的上下文信息，采用循環神經網絡的方法漸進式生成幀內預測信息，解決幀內預測中當前塊左上與右下側上下
    文信息不對稱的問題。

• 幀間預測：基于深度學習的幀間預測主要研究如何高效利用視頻幀間的時域相關性以及如何將時域與空域進行融合。

  • Choi和Bajic(2020)將基于神經網絡的插幀技術用于視頻編碼的幀間預測，使用已經編碼的幀通過神經網絡預測出當前幀，并將該預測幀作為一個虛擬參考幀使用，從而高效地去除時間冗余。
  • Huo 等人(2018) 在時域運動補償的基礎上結合空域相關性，提出使用卷積神經網絡對幀
    間預測結果進行增強，使用待預測塊周圍的重建信息作為上下文可以提高幀間預測質量。
  • Yan 等人(2017) 使用卷積神經網絡進行分像素插值，對如何獲得分像素訓練數據進行研究，提出了先對高分辨率圖像進行模糊然后從模糊圖像中采樣像素的獲取數據方法。并在后續工作( Yan 等，2018) 中提出可以將分像素運動補償視為視頻幀間的回歸問題，用分像素運動估計對齊當前幀和參考幀，將當前幀作為分像素，參考幀作為整像素。

• 上下采樣:當傳輸帶寬受到限制時，通常的做法是降低編碼前的視頻分辨率，并提高解碼后的視頻分辨率。這種做法稱為基于下采樣和上采樣的編碼技術。

  • Afonso等人(2018)提出了一種聯合空間和像素值進行下采樣再使用卷積神經網絡進行上采樣的方法，在編碼器端，通過傳統方法實現空間下采樣，用支持向量機決定是否對每幀執行下采樣。在解碼器端用卷積網絡將解碼出的低分辨率視頻上采樣到原始分辨率。
  • Li 等人(2018a) 和Lin 等人(2019) 分別提出了塊自適應分辨率編碼(blockbased
    adaptive resolution coding，BARC)框架用于I幀和P、B幀，將下采樣后編碼和直接編碼進行率
    失真優化決策
  • Li 等人(2019d) 提出一種全新的正則化損失，并驗證了正則化損失在聯合訓練圖像編碼上下采樣網絡時非常有效。

• 熵編碼

  • Puri 等人(2017)提出使用卷積神經網絡估計不同變換模式的概率分布，提高了變換模式編碼的效率。
  • 隨后，Pfaff等人(2018)進一步在VVC標準技術研究過程中提出使用全連接神經網絡分析視頻的紋理特征，估計幀內不同預測模式的概率分布，提高了幀內預測模式的編碼效率。
  • Song 等人(2017) 提出通過分析視頻紋理估計不同幀內預測模式的概率分布的方法提
    高幀內預測模式編碼的效率。與Pfaff等人(2018)工作的不同點在于，Song等人(2017)使用的是卷積神經網絡而不是全連接神經網絡。
  • Ma 等人(2018a) 使用神經網絡預測變換系數的概率分布，特別是直流變換系數的概率分布，提高了變換系數編碼的效率。使用卷積神經網絡分析周圍塊的紋理特征，可以比傳統視頻編碼更加準確地估計當前塊變換系數的概率分布。

• 濾波：基于神經網絡的濾波方法可以顯著提高編碼效率。濾波方法根據是否影響后續編碼分為環內濾波技術和后處理技術。
  環內方面

  • Park和Kim(2016)提出了一個3層卷積神經網絡用于壓縮視頻環路濾波，針對高低碼率訓練了兩個神經網絡模型并根據量化步長選擇使用不同的模型。
  • Kang等人(2017)提出使用塊劃分信息提高針對HEVC編碼視頻的環路濾波效率。
  • Meng 等人(2018) 在HEVC的去塊效應濾波和樣本自適應偏移模塊后使用長短時記憶神經網絡解碼視頻幀進行濾波，同時聯合使用了塊劃分信息。
  • Zhang 等人(2018b) 針對幀內模式編碼幀、單向預測模式編碼幀、雙向預測模式編碼幀以及不同的量化步長范圍訓練的神經網絡進行環路濾波。
  • Dai 等人(2018) 在原始VRCNN的基礎上增加了網絡的深度，并應用于HEVC的環路濾波，明顯提高了HEVC壓縮視頻的主客觀質量。
  • Jia 等人(2019) 訓練了多個神經網絡用于HEVC的環路濾波，并訓練了解碼端分類網絡用于模型的選擇，避免了傳輸模型選擇信息。

  后處理方面

  • Kim等人(2020)指出在實際應用中壓縮視頻的量化步長通常是未知的，為此設計了神經網絡用于估計壓縮視頻的量化步長，并據此選擇對應的神經網絡模型進行濾波，明顯提高了后處理效率。
  • Huang等人(2020)提出使用更大的圖像塊進行訓練以提高后處理神經網絡的性能，并使用塊劃分和幀內預測模式作為輔助信息，進一步增強后處理的效果。
  • Dai 等人(2017b) 提出一個4層的可變尺寸重建卷積神經網絡(variable-kernel restoration convolution neural net，VRCNN)用于HEVC幀內編碼的后處理。VRCNN采用可變尺寸的濾波器設計，并采用殘差連接以簡化訓練過程，很好地提高了HEVC編碼的效率。
  • Yang 等人(2019b) 提出HEVC的后處理模型，并針對幀內模式和幀間模式使用不同的神經網絡模型，進一步提高了后處理的性能。
  • Jin 等人(2018) 提出在均方誤差損失函數之外使用判別器損失函數訓練神經網絡模型以提高主觀質量。
  • Li等人(2017) 提出傳遞邊信息到解碼端以提高后處理神經網絡性能的方法。
  • Yang等人(2018) 和Wang等人(2018c) 提出聯合使用相鄰幀提高當前幀的后處理效果。
  • He等人(2018) 提出使用塊劃分信息提高后處理神經網絡的性能。
  • Ma等人(2018b) 指出將預測信息和殘差信息分別輸入神經網絡可以提高后處理的性能。
  • Song等人(2018) 提出將量化步長與解碼幀一起輸入神經網絡可以提高后處理的性能。

• 編碼優化：神經網絡為解決復雜編碼優化問題提供了新思路，已廣泛用于編碼過程中的模式決策問題?；谏疃葘W習的編碼工具又稱為編碼優化工具，作用是編碼加速和碼率控制等，目標是提高編碼效率。國際上對編碼優化的研究主要集中于將深度網絡模型與編碼單元劃分決策相結合。Kim 等人(2019) 、Paul 等人(2020) 、Galpin等人(2019) 和Su等人(2019a)使用深度神經網絡加快視頻編碼過程中的CU(coding unit)劃分過程。Su等人( 2019b) 使用神經網絡快速選擇變換核以加速AV1的編碼過程。

  • Kuang等人(2020) 和Zhao等人(2019a)在屏幕視頻編碼場景下，使用深度神經網絡預測編碼模式，大幅加快了屏幕編碼速度。
  • Chen 等人(2020b) 使用深度神經網絡提取局部方向紋理特征預測塊劃分和幀內預測模式，實現了75% 的編碼加速。
  • Song 等人(2017) 提出根據紋理信息和量化步長估計幀內預測模式，從而加速HEVC的幀內編碼過程。
  • Zhang 等人(2019) 通過分析紋理特征加速塊劃分過程。
  • Li 等人(2020b) 提出使用剪枝的方法加快神經網絡的運行，并使用加快后的神經網絡加速
    HEVC 的編碼單元(coding unit，CU) 劃分過程，實現了實時編碼。
  • Li 等人(2019c) 提出使用強化學習的方法加速塊劃分。
  • Tang 等人(2019) 和Jin等人(2017) 使用神經網絡加速VVC 的塊劃分過程。
  • Ren 等人(2019) 、Liu 等人(2016)和Xu等人(2018)使用神經網絡加速HEVC的塊劃分。
  • Huang 等人(2019) 使用神經網絡同時預測編碼和預測單元的劃分方式實現加速。
    碼率控制方面：
  • Li 等人(2017) 依據R-lambda 模型，提出使用CNN 預測HEVC 中編碼樹( coding tree unit，CTU) 級別的碼率控制參數，從而實現更加精確的碼率控制。
  • Lu 等人(2020c) 依據R-QP(rate-quantization parameter)模型，提出使用深度神經網絡估計編碼樹單元級量化步長，實現更精準的碼率控制。
  • Xing 等人(2019) 提出使用深度神經網絡實現碼率控制。
  • Hu 等人(2018a) 提出使用強化學習的方法預測HEVC幀內編碼的量化步長。

2. 3 端到端深度學習視頻壓縮

從2017年開始，國際上越來越多的研究人員開始致力于構建端到端的深度學習視頻壓縮方案。該框架所有模塊都是基于深度神經網絡實現，可以直接端到端優化率失真目標函數，更容易實現全局最優。

端到端視頻壓縮根據應用場景分為兩類：隨機切入場景和低延時場景

• 隨機切入場景：主要基于幀內插的方式進行運動補償。

  • Wu等人(2018) 提出了第一個基于幀內插模型的視頻壓縮方案。該方案的關鍵幀(I幀) 通過端到端圖像壓縮模型進行壓縮，剩下的幀(B幀)通過基于幀內插的模型以分層的方式進 行壓縮，框架性能與H.264相當。
  • Djelouah 等人(2019)提出一個更加高效的基于幀內插的視頻壓縮方案。首先使用光流網絡提取前后向參考幀相對于當前幀的原始運動場，然后將原始運動場與對齊的參考幀(warped frame) 和原始幀一起輸入自編碼器進行壓縮，解碼得到的運動場和融合系數(blending coefficients) 通過內插方式得到預測幀。然后在隱空間(latent space)進行殘差的提取和編碼。該方案在峰值信噪比(peak-signal-noise-ratiom，PSNＲ) 上的壓縮性能與H.265相當。
  • Park 和Kim(2019)使用基于幀內插的雙向編碼結構，并且在編碼端和解碼端同時引入運動估計網絡，從而不再傳輸運動信息，在低分辨率視頻上的壓縮性能與H.265相當。
  • Yang 等人(2020a)提出包含3個質量層的分層雙向預測視頻壓縮方案，結合使用回歸的質量增強網絡，取得了與H.265相近的壓縮性能。
  • Yilmaz 和Tekalp(2020) 提出一個端到端優化的分層雙向預測視頻壓縮方案，在PSNＲ上的壓縮性能接近H.265。
  • 里斯本大學Pessoa等人(2020)的方案將視頻壓縮問題看成一個“空—時”域自編碼器的率失真優化問題，從而避免了顯式的運動估計和補償。
  • Habibian等人(2019)提出基于3D自編碼器的模型，結合基于自回歸先驗的熵模型同時壓縮一段連續的視頻幀，整個系統針對率失真損失函數進行端到端優化，在多尺度結構相似度( multi-scale structural similarity，MS-SSIM) 上的壓縮性能接近H.265。

• 低延時場景：主要基于幀外插的方式進行運動補償。

  • 2018 年，Rippel等人(2019)提出首個面向低延時的端到端視頻壓縮方案。在解碼器
    端使用隱狀態(latent state)保存歷史幀的信息，并使用生成網絡生成運動場和殘差的重建，設計了空域碼率控制方法減小誤差累積，在MS-SSIM 上性能與H.265相當。
  • Agustsson 等人(2020)使用自編碼器基于前一個參考幀和當前原始幀提取原始的尺度空間流(scale-space flow)，并進行壓縮編碼，解碼得到的尺度空間流結合參考幀的高斯金字塔通過三線性插值(trilinear interpolation)操作得到當前幀的預測，剩下的殘差使用另外一個自編碼器進行壓縮，該方案的壓縮性能與H.265相當。
  • Yang 等人(2020b)提出使用回歸的自編碼器和熵模型進行視頻壓縮，取得了與H.265 相近的壓縮性能。
  • Golinski等人(2020)提出一個基于自編碼器的端到端視頻壓縮方案，在解碼端使用反饋回歸模塊將提取的歷史隱變量信息反饋回編碼端，且顯式地使用運動估計模塊輔助運動信息的提取和壓縮，該方案在MS-SSIM上的壓縮性能超過了H.265。

• 國內端到端視頻壓縮方案的研究也是從2017年左右開始，并且取得了一系列研究成果。方案主
  要集中在面向低延時的應用場景：

  • Chen 等人(2017)首次提出基于神經網絡的視頻壓縮方案，但壓縮性能不及H.264。后來提出另一個基于塊的視頻壓縮方案(Chen 等，2020a)，性能與H.264相當。
  • Lu 等人(2019) 提出了第一個端到端視頻壓縮方案。該方案可以看成是傳統視頻壓縮方案的深度學習版本，在PSNＲ 和MS-SSIM上的壓縮性能分別與H.264和H.265相當。由于靈活性和高性能，該方案成為本領域基線方案，常在后續工作中引用。
  • Liu等人(2019) 提出使用空域和時域的先驗去除幀內紋理、運動場和殘差的空域和時域冗余，構建了一個面向低延時場景的端到端視頻壓縮方案，并在后續工作(Liu等，2020a)中結合了時域先驗、空域自回歸先驗和空域超先驗來壓縮運動信息，在MS-SSIM指標壓縮性能上超過了Lu 等人(2019)的方法。
  • 之后，Liu 等人(2020b)在上一個工作的基礎上，提出使用多尺度的運動補償模塊，進一步提升了壓縮性能。
  • Lin 等人(2020) 在Lu等人(2019)方案的基礎上，提出了基于多參考幀預測的4個模塊(運動場預測模塊、運動場改善模塊、運動補償模塊和殘差改善模塊)來提升幀間預測性能，相比Lu等人(2019)的方法，該方案在同樣的碼率下，PSNR提高了近1dB，達到了與H.265相當的水平。
  • 最近，Lu 等人(2020a，2020b)在Lu等人(2019)的基礎上擴展了兩個工作，一是使用自適應量化層減小了可變碼率編碼的模型參數，同時使用運動場和殘差改善模塊來壓縮運動場和殘差，進一步提升了壓縮性能; 二是使用多幀的率失真損失函數來減小誤差傳播以及設計了在線編碼端參數更新算法。這兩個策略都有效提升了壓縮性能。
  • Hu 等人(2020) 在Lu等人(2019)的方案上引入幀級和塊級的分辨率自適應運動場編碼模式，為每個視頻幀自適應地在幀級和塊級選擇合適的分辨率編碼。
  • 國內的圖鴨信息科技有限公司參與了CVPR2020 Workshop 中的P幀編碼競賽，并提出一個端到端P幀壓縮方案(Wu等，2020)，使用自編碼器基于參考幀、當前幀和原始運動場同時提取、壓縮并解碼出重建的運動場和殘差，然后使用空域偏移卷積(spatially-displaced convolution)生成當前幀的預測，最后與殘差相加得到重建幀?？紤]到低碼率端的量化失真，使用了后處理模塊提升壓縮性能。

2. 4 標準進展

• 國際
  2015年，運動圖像專家組和視頻壓縮專家組聯合成立JVET( joint video exploration /expert team) 工作組。

  2018年4月，JVET正式將下一代視頻壓縮標準命名為多用途視頻編碼(versatile video coding，VVC) ，并于2020 年7 月正式發布標準草案，在PSNR指標下，壓縮效率相比于上
  一代國際標準H.265/HEVC 提升約36.6%。

  同時，MPEG 組織中的三星、華為、高通和Divideon 等公司牽頭制定了MPEG-5 EVC( essential video coding) 標準，主要面向超高清、高動態范圍和廣色域視頻內容。EVC 標準的制定方法嘗試了不同于以前的標準化制定過程。

• 選擇專利期限超過20 年的技術或有免版稅聲明的技術來定義該標準;
• 在基本工具集上定義了一些其他工具，每個工具在壓縮性能方面都有顯著改進;
• 每一個附加的工具都是隔離的，可以獨立于其他工具進行開關控制;
• 鼓勵技術贊助者提交與專利許可或出版有關的自愿聲明;
• 定義了分析機制，以便允許不同模式可以包含不同的工具。

多家科技巨頭聯合成立了開放媒體聯盟(alliance for open-media，AOM)，致力于推廣和研發多媒體的視頻編解碼技術，為下一代多媒體體驗創造新機遇。AOM 聯盟于2018年初正式推出了AV1視頻壓縮標準。受益于聯盟多數成員是與視頻行業緊密相連的互聯網公司、硬件設備廠商、內容供應商和主流瀏覽器廠商等，行業優勢使得AV1 基本做到了主流平臺的全覆蓋，形成從內容端、產品端到芯片端的完整生態鏈。

• 國內
  數字音視頻編解碼技術標準工作組( audio video coding standard，AVS) 于2017年12 月決定開展下一代視頻編碼標準( 即AVS3 標準) 的制定，分為兩階段；

  第1 階段從2018 年3 月到2019年6月，制定面向復雜度優先的應用，性能相較于2014年制定完成的上一代視頻編碼標準AVS2 提升約30%。

  第2 階段從2019 年6 月到2021 年3 月，目標是編碼效率超過VVC標準。

3. 多視點/立體視頻壓縮

3DoF(degree of freedom)是全景視頻，3DoF+視頻是在全景之外，還支持用戶在3個空間維度上有限范圍的變化，一個典型的例子就是坐在椅子上觀看場景，允許頭部在一定范圍內運動。

從H.264/AVC 時期就開始有多視點視頻編碼(multiview video coding，MVC)的研究；
3D-HEVC 是一個具有標志性意義的3維視頻編碼標準，采納了許多可以有效提升編碼效率的關鍵技術；

在2018 年的3DTV 會議上，Fachada等人(2018)提出一種基于深度圖的虛擬視點合成技術，可以運用于6 自由度(6DoF)和360視頻(3DoF+)的立體全景視頻中，通過增加參考視圖的數量克服了諸如遮擋、相機軸的切向曲面和低質量深度圖中的瑕疵等問題。

國內，AVS 工作組針對這些需求建立了AVS-3D視頻編碼框架，具體在編碼端編碼稀疏的若干視點，在解碼端通過視點合成技術生成任意數量的虛擬視點。

4. 國內外研究進展

今年來國內外學術機構和工業界對視頻處理關注度顯著提高：

• 由于視頻大數據的應用場景和用戶需求正在發生巨變；
• 由于人工智能技術的飛速發展引領了新一輪技術革新。

國外 V.S 國內

• 視頻處理領域的早期工作主要由國外學者和研究機構展開；
• 2016年前后，國內學者逐漸發力，相關研究開始逐漸占據主流并貢獻了大量的優越方法；
• 隨著在深度學習在視頻處理領域的廣泛應用，國內部分團隊已實現國際領先水平，同時針對不同前沿學科之間的交叉研究進行了深入探索。
• 當前國際國內研究單位針對混合視頻壓縮框架的研究主要集中于局部模塊優化以及性能提升。
• 現有視頻壓縮研究局面已發生根本性改變，由歐美日韓公司主導部分國內企業與高校輔助參與變為華為、高通、三星、騰訊、字節跳動和德國赫茲研究所等機構齊頭并進的局面。
• 近年來國內外華人參與視頻壓縮技術研究的比例逐年上升
• 視頻壓縮技術研究的重心逐漸由歐美地區轉向東亞地區。
• 從2017年開始，端到端視頻壓縮研究工作逐年增加，國內研究結構主要針對壓縮效率提升開展工作，較少涉及復雜度優化。而國外研究機構主要針對可變碼率模型和模型壓縮、模型定點化等方面進行探索。
• 新一代混合框架的視頻壓縮標準目前呈現“三足鼎立”的態勢：
• 國際電信聯盟和國際標準化組織推出的H. 26x 系列標準；
• 中國AVS 工作組研制的AVS 系列標準；
• AOM聯盟提出的AV1 標準；

這些標準技術框架具有一定相似性但技術細節各有千秋，主要差異體現在對各自的應用場景設計了獨特的壓縮算法和優化方法。目前來看，AVS3與VVC還存在性能差距，仍有繼續探索和提升的空間。