Date： 2018.10.13
1、参考
https://blog.csdn.net/xjbclz/article/details/51854297
https://blog.csdn.net/u011425939/article/details/78751935
https://blog.csdn.net/liu0808/article/details/72453539
https://blog.csdn.net/luchy/article/details/1542478
2、前言
视频压缩编码领域对于视频信号传输和存储具有重要的意义。在国际组织的独立和联合开发中，产生了很多重要的视频编解码标准。主要国际组织包括ISO/IEC MPEG、ITU-T、Google、Microsoft、AVS工作组和AOM联盟等。本文旨在简要分析各个视频编解码标准的发展历程。主要标准包括：JPEG、MJPEG、JPEG2000、H.261、MPEG-1、H.262/MPEG-2、H.263、MPEG-4 (Part2/ASP)、H.264/MPEG-4 (Part10/AVC)、H.265/MPEG-H (Part2/HEVC)、H.266/VVC、VP8/VP9、AV1、AVS1/AVS2、SVAC1/SVAC2等。
3、主要视频编码标准发展历程
4、主要视频编码标准介绍
4.1、JPEG
https://en.wikipedia.org/wiki/JPEG
JPEG 是Joint Photographic Experts Group(联合图像专家小组)的缩写，是第一个国际图像压缩标准。JPEG图像压缩算法能够在提供良好的压缩性能的同时，具有比较好的重建质量，被广泛应用于图像、视频处理领域。
4.2、MJPEG
M-JPEG（Motion- Join Photographic Experts Group）技术即运动静止图像（或逐帧）压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像处理，把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整地压缩每一帧，在编辑过程中可随机存储每一帧，可进行精确到帧的编辑，此外M-JPEG的压缩和解压缩是对称的，可由相同的硬件和软件实现。但M-JPEG只对帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩，故压缩效率不高。采用M-JPEG数字压缩格式，当压缩比7:1时，可提供相当于Betecam SP质量图像的节目。
JPEG标准所根据的算法是基于DCT（离散余弦变换）和可变长编码。JPEG的关键技术有变换编码、量化、差分编码、运动补偿、霍夫曼编码和游程编码等
M-JPEG的优点是：可以很容易做到精确到帧的编辑、设备比较成熟。缺点是压缩效率不高。
此外，M-JPEG这种压缩方式并不是一个完全统一的压缩标准，不同厂家的编解码器和存储方式并没有统一的规定格式。这也就是说，每个型号的视频服务器或编码板有自己的M-JPEG版本，所以在服务器之间的数据传输、非线性制作网络向服务器的数据传输都根本是不可能的。
4.3、JPEG2000
JPEG 2000 (JP2) is an image compression standard and coding system. It was created by the Joint Photographic Experts Group committee in 2000 with the intention of superseding their original discrete cosine transform-based JPEG standard (created in 1992) with a newly designed, wavelet-based method. The standardized filename extension is .jp2 for ISO/IEC 15444-1 conforming files and .jpx for the extended part-2 specifications, published as ISO/IEC 15444-2. The registered MIME types are defined in RFC 3745. For ISO/IEC 15444-1 it is image/jp2.
4.4、H.261
H.261视频编码标准诞生于1988年，可谓是视频压缩编码发展的第一个里程碑。因为从H.261开始，视频编码方法采用了沿用至今的基于波形的混合编码方法。H.261标准主要目标是用于视频会议和可视电话等高实时性、低码率的视频图像传输场合。
在H.261标准产生的时代，由于各国的电视制式不一致，因此不能直接互通。为了解决数据源格式不兼容的问题，H.261定义了一种公共中间格式CIF(Common Intermediate Format)。编码的目标格式首选转换为CIF格式进行编码和传输，接收端进行解码后再转换为各自的格式。H.261规定的CIF格式视频的亮度分辨率为352×288，QCIF格式的亮度分辨率为176×144。
H.261信源编码所采用的技术：
- 帧内编码/帧间编码判定：根据帧与帧之间的相关性判定——相关性高使用帧间编码，相关性低使用帧内编码。
- 帧内编码：对于帧内编码帧，直接使用DCT编码8×8的像素块。
- 帧间编码/运动估计：使用以宏块为基础的运动补偿预测编码；当前宏块从参考帧中查找最佳匹配宏块，并计算其相对偏移量(Vx, Vy)作为运动矢量；编码器使用DCT、量化编码当前宏块和预测宏块的残差信号；帧间编码/运动估计：使用以宏块为基础的运动补偿预测编码；当前宏块从参考帧中查找最佳匹配宏块，并计算其相对偏移量(Vx, Vy)作为运动矢量；编码器使用DCT、量化编码当前宏块和预测宏块的残差信号；
- 环路滤波器：实际上是一个数字低通滤波器，滤除不必要的高频信息，以消除方块效应；环路滤波器：实际上是一个数字低通滤波器，滤除不必要的高频信息，以消除方块效应；
4.5、MPEG-1
MPEG-1标准于1993年8月公布，用于传输1.5Mbps数据传输率的数字存储媒体运动图像及其伴音的编码。该标准包括五个部分：
第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的C语言实现的编码和解码器。
该标准从颁布的那一刻起，MPEG-1取得一连串的成功，如VCD和MP3的大量使用，Windows95以后的版本都带有一个MPEG-1软件解码器，可携式MPEG-1摄像机等等。
4.6、MPEG-2/H.262
MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。 MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3兆比特～100兆比特，标准的正式规范在ISO/IEC13818中。MPEG-2不是MPEG-1的简单升级，MPEG-2在系统和传送方面作了更加详细的规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。
MPEG-2图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除图像中的冗余信息。
MPEG-2的编码图像被分为三类，分别称为I帧，P帧和B帧。 I帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。P帧和B帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。P帧图像只采用前向时间预测，可以提高压缩效率和图像质量。P帧图像中可以包含帧内编码的部分，即P帧中的每一个宏块可以是前向预测，也可以是帧内编码。B帧图像采用双向时间预测，可以大大提高压缩倍数。
MPEG-2的编码码流分为六个层次。为更好地表示编码数据，MPEG-2用句法规定了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组(GOP)、图像、宏块条、宏块、块。
4.7、H.263
H.263是国际电联ITU-T的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样，但做了一些改善和改变，以提高性能和纠错能力。.263标准在低码率下能够提供比H.261更好的图像效果，两者的区别有：(1)H.263的运动补偿使用半象素精度，而H.261则用全象素精度和循环滤波；(2)数据流层次结构的某些部分在H.263中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力；(3)H.263包含四个可协商的选项以改善性能；(4)H.263采用无限制的运动向量以及基于语法的算术编码；(5)采用事先预测和与MPEG中的P-B帧一样的帧预测方法；(6)H.263支持5种分辨率，即除了支持H.261中所支持的QCIF和CIF外，还支持SQCIF、4CIF和16CIF，SQCIF相当于QCIF一半的分辨率，而4CIF和16CIF分别为CIF的4倍和16倍。
1998年IUT-T推出的H.263＋是H.263建议的第2版，它提供了12个新的可协商模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋对H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。H.263已经基本上取代了H.261。
4.8、MPEG-4 (Part2/ASP)
运动图像专家组MPEG 于1999年2月正式公布了MPEG-4（ISO/IEC14496）标准第一版本。同年年底MPEG-4第二版亦告底定，且于2000年年初正式成为国际标准。
MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法，它是针对数字电视、交互式绘图应用（影音合成内容）、交互式多媒体（WWW、资料撷取与分散）等整合及压缩技术的需求而制定的国际标准。MPEG-4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。
4.9、H.264/MPEG4 (Part10 AVC)
H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一代视频压缩编码标准。在ISO/IEC中该标准命名为AVC (Advanced Video Coding)，作为MPEG-4标准的第10个选项；在ITU-T中正式命名为H.264标准。
4.10、H.265/HEVC
H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。具体的研究内容包括:提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H264由于算法优化，可以低于1Mbps的速度实现标清数字图像传送;H265则可以实现利用1~2Mbps的传输速度传送720P(分辨率1280*720)普通高清音视频传送。
4.11、VP8/VP9
https://en.wikipedia.org/wiki/VP8
4.12、AV1
AV1（AOMedia Video Codec 1.0）:
相关网址：
http://audiovisualone.com ： AV1公司网站
http://audio-video1.com ：主要面向家庭提供视音频应用的供应商
http://www.ctolib.com/learndromoreira-digital video introdution.html ：相关学习资料
https://xiph.org/daala ：Xiph（Mozilla基金会）的视频压缩技术，即Daala(达拉)
http://aomedia.org : 开放媒体联盟官网，主要由一些硬件制造商共同建立，是发布AV1的主要组织
http://aomanalyzer.org/ : AV1编解码器对应的码流分析工具网站
AV1背景：
2015年年初，Google正致力于VP10的研究，Xiph在继续Daala视频压缩技术的研究，Cisco开源了免版税的视频编解码器，即雷神（Thor）。 之后，MPEG-LA公司首次宣布H265的使用年费（是使用H264的8倍多）。由于H265使用年费太高，一些硬件制造商（Amozon、Cisco、Google、Intel、Microsoft、Mozilla、Netflix）于2015年9月联合成立了“开放媒体联盟”，其中内容的发布由Google、Netflix和Amozon负责，网站的维护由Google和Mozilla负责。2016年4月5日，AMD、ARM和NVIDIA也加入了该联盟，这些加入联盟的公司都有一个共同的目标，即开发出一个免版税的视频编解码器，此时AV1顺势而起。
AV1简介：
AV1是一种免版税、开源的新视频编码标准，集成Daala、Thor和VPx部分最优秀的编码思想，由开放媒体联盟（AOMedia）发布，目前第一版Version0.1.0已经在2016年4月7日发布。AV1现阶段的主要目标是在编解码复杂度合理增加的前提下，编码性能高于VP9/HEVC的50%。
AOMedia声称，预计在2016年年底至2017年3月最终确定AV1码流相关信息，并于2018年3月首次在硬件上支持。需要说明的是，AV1与以往视频编码标准较大的区别之一是更加偏向于硬件编解码的支持，这也是AV1发起者（大多数为硬件设备制造厂商）的个人利益角度所考虑的。
AV1资源下载：
AV1源码下载地址：https://aomedia.googlesource.com/aom
AV1测试视频序列：http://media.xipha.org/video/derf/
AV1码流分析工具源码：https://github.com/mbebenita/aomanalyzer
AV1码流分析工具：https://people.xiph.org/~mbebenita/analyzer/
4.13、AVS1/AVS2
AVS1标准是中国自主研发的音视频编解码标准，主要用于国内卫星电视的压缩传输，其压缩率相较于H.264要低一些，在使用范围和推广上也不如H.264。
4.14、SVAC1/SVAC2
SVAC(Surveillance Video and Audio Coding)，安全防范监控音视频编解码技术，该技术标准是有中星微和公安一所针对视频监控应用提出的音视频编码标准，该标准2010年12月23日发布，于2011年5月1日开始实施。
SVAC标准的主要技术特点有以下几点：
1）高精度，支持8bit~10bit；
2）支持帧内4x4预测与变换量化，支持自适应帧-场编码（AFF）和CABAC等技术。
3）支持ROI变质量编码和SVC可伸缩编码。
4）支持监控专用信息，数据安全保护和加密认证。
4.15、H.266/VVC
JVET was founded as the Joint Video Exploration Team (on Future Video coding) of ITU-T VCEG and ISO/IEC MPEG in October 2015. After a successful call for proposals, it transitioned into the Joint Video Experts Team (also abbreviated to JVET) in April 2018 with the task to develop a new video coding standard.
The new video coding standard was named Versatile Video Coding (VVC).
THE END!