H264系列--压缩编码技术

Android FFmpeg专题结构

概述

H264 无疑是目前应用最广泛的编码技术。一些比较优秀的开源库x264/openh264, ffmpeg等让人们处理h264编解码变得相对容易。为了能更好地理解和处理h264问题,还是有必要了解相关的原理

H264压缩技术主要采用了以下几种方法对视频数据进行压缩:

  • 帧内预测压缩,解决的是空域数据冗余问题。
  • 帧间预测压缩(运动估计与补偿),解决的是时域数据冗徐问题。
  • 整数离散余弦变换(DCT),将空间上的相关性变为频域上无关的数据然后进行量化。
  • CABAC熵编码, 对量化后的系数进一步的压缩

经过压缩后的帧分为:I帧,P帧和B帧:

  • I帧:关键帧,采用帧内压缩技术。
  • P帧:向前参考帧,在压缩时,只参考前面已经处理的帧。采用帧音压缩技术。
  • B帧:双向参考帧,在压缩时,它即参考前而的帧,又参考它后面的帧。采用帧间压缩技术。

两个I帧间的图像序列就称为GOP

H264系列--压缩编码技术_第1张图片
gop.png

Tip:对目前比较流行的直播和短视频来说,短视频的数据I帧会比较少,因为I帧数据比较大。而直播的话I帧比较多,因为客户端需要一进入直播间就能马上播放,一般是2s左右一个I帧

宏块

宏块是编码标准的基本处理单元,通常它的大小也为16x16像素。16X16 的宏块上可以划分出更小的子块。子块的大小可以是 8X16、 16X8、 8X8、 4X8、 8X4、 4X4。这主要看图像细节的丰富程度。比如下面的图片


H264系列--压缩编码技术_第2张图片
37.png

宏块划分好后,就可以对H264编码器缓存中的所有图片进行分组了

帧分组(即GOP)

对于视频数据主要有两类数据冗余,一类是时间上的数据冗余,另一类是空间上的数据冗余。其中时间上的数据冗余是最大的。下面我们就先来说说视频数据时间上的冗余问题。

为什么说时间上的冗余是最大的呢?假设摄像头每秒抓取30帧,这30帧的数据大部分情况下都是相关联的。也有可能不止30帧的的数据,可能几十帧,上百帧的数据都是关联特别密切的。

对于这些关联特别密切的帧,其实我们只需要保存一帧的数据,其它帧都可以通过这一帧再按某种规则预测出来,所以说视频数据在时间上的冗余是最多的。

下面是捕获的一组运动的台球的视频帧,台球从右上角滚到了左下角。


H264系列--压缩编码技术_第3张图片
40.png
H264系列--压缩编码技术_第4张图片
42.png

通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此,上面这几帧就可以划分为一组。其算法是:在相邻几幅图像画面中,一般有差别的像素只有10%以内的点,亮度差值变化不超过2%,而色度差值的变化只有1%以内,我们认为这样的图可以分到一组。

在这样一组帧中,经过编码后,我们只保留第一帖的完整数据,其它帧都通过参考上一帧计算出来。我们称第一帧为IDR/I帧,其它帧我们称为P/B帧,这样编码后的数据帧组我们称为GOP

所以如果场景一直没什么变化,则一系列视频帧中I帧的数量会很少。如果场景变换很复杂,一直在场景变换大的场景切换时就会有I帧出现。

运动估计与运动补偿

在H264编码器中将帧分组后,就要计算帧组内物体的运动矢量了。还以上面运动的台球视频帧为例,我们来看一下它是如何计算运动矢量的。

H264编码器首先按顺序从缓冲区头部取出两帧视频数据,然后进行宏块扫描。当发现其中一幅图片中有物体时,就在另一幅图的邻近位置(搜索窗口中)进行搜索。如果此时在另一幅图中找到该物体,那么就可以计算出物体的运动矢量了

H264系列--压缩编码技术_第5张图片
44.png

运动矢量计算出来后,将相同部分(也就是绿色部分)减去,就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存,以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示:


H264系列--压缩编码技术_第6张图片
45.png

现在在电视和投影上经常看到运动补偿(MEMC)的广告,其实并不是什么高深的技术,比如在上面的例子中,就是根据运动矢量,在帧与帧间插入新运动矢量,使得整个GOP中矢量变化更加平滑。

帧内压缩(这部分也看不懂,后面补充)

计算残差数据 --->DCT ---> CABAC

帧内预测,计数残差值

H264的帧内压缩与JPEG很相似。一幅图像被划分好宏块后,对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。

然后,将原始图像与帧内预测后的图像相减得残差值。

再将我们之前得到的预测模式信息一起保存起来,这样我们就可以在解码时恢复原图了

对残差数据进行DCT

CABAC

上面的帧内压缩是属于有损压缩技术。也就是说图像被压缩后,无法完全复原。而CABAC属于无损压缩技术

你可能感兴趣的:(H264系列--压缩编码技术)