第一章 图像与视频

• 前言

音视频技术已经融入人们的日常生活长达半个世纪之久，往往我们已经习惯了身边无处不在的音频、视频以及图像。这里面一方面是高速发展的软硬件技术极大的推动了市场及产业应用推广的速度，另一方面是长达数十年的技术研究积淀下，使得音视频流媒体的普及流行成为可能。

在日常生活中，常提到的音视频图像技术，和我们研究或工程领域的提到的音视频及图像扣手机，往往还是有一定区别的，这主要取决于我们的视角不一样。

作为一个普通用户的视角，用户感受到的更多的是音视频呈现出的内容、质量，如流畅度、分辨率、卡顿等；是软硬件表现出来的性能，如更高清的机顶盒、更高分辨率的电视；以及反馈出的性价比、约束及场景，如手机端、PC端、直播点播、在线本地等这些主客观交织在一起的信息。

这体现出的音视频技术、流媒体技术在工程层面和用户层面存在着隔离。举个例子说，用户认为，我买了个50寸的电视，我就应该可以体验到非常好的视觉效果，殊不知其实分辨率和尺寸是相互独立的两个因素，且不说屏幕分辨率的限制，这甚至没考虑视频源分辨率这个最初的瓶颈以及编码压缩导致的质量下降。以上的情况，常见的结果就是，两个用户拿着完全不一样分辨率和尺寸的设备，用着不同的视频源，去讨论设备的好坏。

当然，这个专栏以及即将展开的文章，面向的是未来即将从事音视频、流媒体领域的工程、科研人员。专栏及文章并不会完全站在用户或者使用者的角度去阐述，但是，从用户和使用者的角度看待问题并分析问题，是很多初学者必经的道路。

因此，本专栏的重点是，帮助大家把技术及知识点梳理并打通，不求精细，但求融会贯通。

• 图像与视频

考虑到大家已经对基本的知识有一定的了解，本专栏及文章不会过多的在基础知识点上铺开，更多的是通过关键词，引导读者去检索相关知识。

当我们谈到图像及视频，通常的认识是，视频是由一连串的图像构成的。更深一点，很多人知道人眼有一个动态视觉阈值，当连续切换的图片之间间隔的时间低于阈值时，人眼就观察到的是连续的动画。

（若连续切换黑白图片，间隔时间低于阈值，人眼观察到的将是灰色；若间隔N张白色图片，插入一张黑色图片，则人眼不可察觉黑色图片。此处补充这一点，主要引出人眼主观视觉注意机制，存在空间域上对高频信息不敏感，而对低频敏感的特点。这是视频图像领域常说的高频信息不重要的主要依据，以后的文章若有机会将详细展开，讲述人眼主观视觉机制对频率在空间域及时间域上特性。）

但如果我们简单的认为，视频就是连续的图像，这样的观点是显然错误的。典型的观点是，视频就是图像在时间域上的组成，视频既有空间特性，也有时间特性。这样的认为，在一般的用户的视角是没有问题的，但如果我们是工程或者开发人员，还必须理解到，视频是一系列时间-空间相关的信息构成的。

简单的举例分析：视频编码技术，压缩的既不是单纯的空间域冗余，也不是单纯的时间域冗余。如果我们希望从一个编码后的视频中，获取任意一帧画面，往往是不能直接获取的（除非是I帧）。

图像和视频的区别，导致两者使用的编码压缩技术存在显著的不同。

图像压缩编码，更注重如何去除图像的空间冗余，及利用人眼主观视觉机制，去除空间域的高频信息、去除人眼不敏感的色度信息，提升压缩率。传统的图像压缩的流程是，首先进行色域转换，失去一部分人眼不敏感的色度信息，保留亮度信息；然后，进行AD/DC变换，消除不敏感的高频信息（有损压缩）；最后进行量化和熵编码，在信息论的支持上，提升信息表达效率，节省码字。

视频压缩编码，更注重的是通过预测，去除空间-时间冗余，而不是仅使用频率域消除高频信号，因此，视频压缩编码在空间和时间域上提升了更高的压缩率，同时还保留了较完整的视频内容。其主要流程是，首先进行宏块划分（由于H.264、H.265、H.26X在编码单元上的划分采用了不同的技术，因此此处单独作为一个环节阐述），宏块决定了基本的编解码单元，是预测及变换的基本单元；其次进行预测，预测环节会通过预编码与RD-Cost（码率-失真消耗，是视频图像质量-体积的拟合曲线）遍历，寻找最优的预测（帧间预测、帧内预测、运动估计）及对应的模式；最后，通过量化（量化因子在此决定了量化精度粗细）和熵编码，形成比特流。

由于视频编码的压缩针对的目标不同，因此，在应用时，作为工程及研发人员应该对影响编码的因素较为敏感且有一定识别和检测的能力，这有助于发现及解决问题。

• 专栏路线

专栏的文章，主要是从视频、流媒体、编码解码的基础知识切入，帮助大家把细节、松散的知识点联系到一块，从而在实际的工程、研究问题中应用。

1. 图像-视频帧
   1. 图像的色域RGB、YUV
   2. YUV的采样及存储格式
   3. 采集设备-采集图像-数据流
   4. JPEG压缩及图像级冗余
2. 视频入门
   1. 视频基本参数信息解读
   2. 视频与流媒体技术
   3. 视频直播与点播技术
   4. 视频系统常见问题解答
3. 视频编解码入门
   1. 视频编码标准简述
   2. 视频编解码工程应用
   3. 视频编解码-Slice、Tile、Block、NALU、码流
   4. 视频编解码-编码参数详解
   5. 视频编解码-算子及解码器简述
   6. 未来视频技术及编码标准发展
4. 视频编码进阶
   1. 视频编码基本流程及框架技术
   2. 视频编码-编码单元
   3. 视频编码-帧内预测
   4. 视频编码-帧间预测
   5. 视频编码-运动估计
   6. 视频编码-量化与熵编码
   7. 视频编码补充-率失真模型（Rate-Distortion Model）
   8. 视频编码补充-码率控制
   9. 高效视频编码标准-H.265/HEVC对比分析
   10. 新一代视频编码标准-H.26x/VVC技术介绍