即时通讯吧 关注:1,319贴子:20,554
  • 2回复贴,共1

融云:AI 算法在视频可分级编码中的应用

只看楼主收藏回复

一、三种常用可分级视频编码的特点
视频图像经过数字化之后数据量非常大,现有的网络和存储设备无法直接存储原始的视频图像,必须对视频和图像进行压缩,现有的主流压缩视频算法为 H.264,VP8,VP9,HEVC,VVC 等。一方面,从H.264 到 VVC,编码复杂度越来越高,压缩效率也越来越高;另一方面,传输的网络带宽大小不一,且随时变化,单一的码流无法适应多种不同接收端的网络和设备环境。比如 4G 网络和 5G 网络传输带宽不一样,若在 4G 和 5G 网络中传输同一套码流,有可能会导致 5G 网络带宽没有充分利用,最终影响视频的观看效果。
现在视频应用的环境存在多个不同的接收端,解决这个问题可以采用以下两种技术:联播(Simulcast)和可分级视频编码(SVC)。


IP属地:四川1楼2021-11-11 14:05回复
    联播 Simulcast 即同时传输多路码流,不同的码流具有不同的码率,用以传输在不同带宽下的码流。当终端设备处于高带宽的网络环境中,可以传输高码率的视频,以便获得更好的视频观看体验;当终端设备处于低带宽的网络环境中,可以传输低码率的视频,以便减少视频播放卡顿的现象。但是 Simulcast 支持的码率种类是有限的,难以适应复杂的网络环境。针对这个问题,研究人员提出了可分级视频编码 SVC,视频数据只压缩一次,却能以多个帧率、空间分辨率或视频质量进行解码。比如采用三层空域可分级和两层时域可分级,可以组合的模式达到六种,和 Simulcast 方式相比,系统的适应性得到很大提升。
    (图1 联播&可分级)
    常用的可分级编码有三种,分别是:空域可分级(SpatialScalability)、质量可分级(Quality Scalability)和时域可分级(Temporal Scalability)。


    IP属地:四川2楼2021-11-11 14:06
    回复
      空域可分级编码(图 3 ),即对视频中的每帧图像产生多个不同空间分辨率的图像,解码基本层码流得到的低分辨率图像,如果加入增强层码流到解码器,得到的是高分辨率图像。
      (图3 空域可分级)
      质量可分级(图 4 ),一个可行的做法是,基本层码流编码这一路对原始图像 DCT 变换后进行一次粗糙量化,熵编码后形成基本层码流。粗糙量化后的数据经反量化后形成基本层系数,与原始图像 DCT 变换系数相减形成差值信号,再对此差值信号再进行一次细量化和熵编码生成增强层码流。
      (图4 质量可分级)
      时域可分级(图 5),即把视频序列不重叠地分割成多层,对基本层的帧进行普通的视频编码,提供具有基本时间分辨率的基本层码流;对增强层则是利用基本层数据对增强层的帧间预测编码,生成增强层数据。


      IP属地:四川3楼2021-11-11 14:06
      回复