H.264、JPEG、JPEG2000、Motion JPEG、H.265、MPEG-4等图像编码格式

前言

        ~~~~~~~        最近在查看海思HI3516a软件开发手册时，对下表中的一些视频编码不是很清楚，也很容易搞混了，所以查了一些资料，对H.264、JPEG、JPEG2000、Motion JPEG、H.265、MPEG-4等这些常见的图像编码格式进行总结和记录。其中BP、MP、HP的含义见传送门。

H.264

        ~~~~~~~        H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式。H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。H.264是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个数字视频编码标准。

        ~~~~~~~        H.264是在MPEG-4技术的基础之上建立起来的，其编解码流程主要包括5个部分：帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波（Loop Filter）、熵编码（Entropy Coding）。
        ~~~~~~~        H.264标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的图象质量。通过该标准，在同等图象质量下的压缩效率比以前的标准（MPEG2）提高了2倍左右。

        ~~~~~~~        H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。

        ~~~~~~~        低码率（Low Bit Rate）对H.264的高的压缩比起到了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

H264标准的主要特点如下：

1．更高的编码效率：同H.263等标准的特率效率相比，能够平均节省大于50%的码率。

2．高质量的视频画面：H.264能够在低码率情况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输是H.264的应用亮点。

3．提高网络适应能力：H.264可以工作在实时通信应用（如视频会议）低延时模式下，也可以工作在没有延时的视频存储或视频流服务器中。

4．采用混合编码结构：同H.263相同，H.264也使用采用DCT变换编码加DPCM的差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式，提高了编码效率。

5．H.264的编码选项较少：在H.263中编码时往往需要设置相当多选项，增加了编码的难度，而H.264做到了力求简洁的“回归基本”，降低了编码时复杂度。

6．H.264可以应用在不同场合：H.264可以根据不同的环境使用不同的传输和播放速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和误码。

7．错误恢复功能：H.264提供了解决网络传输包丢失的问题的工具，适用于在高误码率传输的无线网络中传输视频数据。

8．较高的复杂度：264性能的改进是以增加复杂性为代价而获得的。据估计，H.264编码的计算复杂度大约相当于H.263的3倍，解码复杂度大约相当于H.263的2倍。

JPEG

        ~~~~~~~        JPEG（全称是Joint Photographic Experts Group）是常见的一种图像格式，它由联合照片专家组开发并命名为"ISO 10918-1"，JPEG仅仅是一种俗称而已。

        ~~~~~~~        JPEG是Joint Photographic Experts Group(联合图像专家组)的缩写，文件后辍名为"．jpg"或"．jpeg"，是最常用的图像文件格式，由一个软件开发联合会组织制定，是一种有损压缩格式，能够将图像压缩在很小的储存空间，图像中重复或不重要的资料会被丢失，因此容易造成图像数据的损伤。尤其是使用过高的压缩比例，将使最终解压缩后恢复的图像质量明显降低，如果追求高品质图像，不宜采用过高压缩比例。

        ~~~~~~~        但是JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据，在获得极高的压缩率的同时能展现十分丰富生动的图像，换句话说，就是可以用最少的磁盘空间得到较好的图像品质。而且 JPEG是一种很灵活的格式，具有调节图像质量的功能，允许用不同的压缩比例对文件进行压缩，支持多种压缩级别，压缩比率通常在10：1到40：1之间，压缩比越大，品质就越低；相反地，压缩比越小，品质就越好。

        ~~~~~~~        比如可以把1.37Mb的BMP位图文件压缩至20.3KB。当然也可以在图像质量和文件尺寸之间找到平衡点。JPEG格式压缩的主要是高频信息，对色彩的信息保留较好，适合应用于互联网，可减少图像的传输时间，可以支持24bit真彩色，也普遍应用于需要连续色调的图像。

        ~~~~~~~        JPEG格式是目前网络上最流行的图像格式，是可以把文件压缩到最小的格式，在 Photoshop软件中以JPEG格式储存时，提供11级压缩级别，以0—10级表示。其中0级压缩比最高，图像品质最差。即使采用细节几乎无损的10 级质量保存时，压缩比也可达 5：1。以BMP格式保存时得到4.28MB图像文件，在采用JPG格式保存时，其文件仅为178KB，压缩比达到24：1。经过多次比较，采用第8级压缩为存储空间与图像质量兼得的最佳比例。PG文件的优点是体积小巧，并且兼容性好。

JPEG2000

        ~~~~~~~        JPEG 2000是基于小波变换的图像压缩标准，由Joint Photographic Experts Group组织创建和维护。JPEG 2000通常被认为是未来取代JPEG（基于离散余弦变换）的下一代图像压缩标准。JPEG 2000文件的副档名通常为.jp2，MIME类型是image/jp2。

        ~~~~~~~        JPEG2000作为JPEG的升级版，其压缩率比JPEG高约30%左右，同时支持有损和无损压缩。JPEG2000格式有一个极其重要的特征在于它能实现 渐进传输，即先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，让图像由朦胧到清晰显示。此外，JPEG2000还支持所谓的"感兴趣区域" 特性，可以任意指定影像上感兴趣区域的压缩质量，还可以选择指定的部分先解压缩。

        ~~~~~~~        JPEG2000和JPEG相比优势明显，且向下兼容，因此可取代传统的JPEG格式。JPEG2000即可应用于传统的JPEG市场，如扫描仪、数码相机等，又可应用于新兴领域，如网路传输、无线通讯等等。
JPEG2000和JPEG的比较

        ~~~~~~~        在有损压缩下，JPEG2000一个比较明显的优点就是没有JPEG压缩中的马赛克失真效果。JPEG2000的失真主要是模糊失真。模糊失真产生的主要原因是在编码过程中高频量一定程度的衰减。传统的JPEG压缩也存在模糊失真的问题。

        ~~~~~~~        就图像整体压缩性能来说，目前有一些文章可能夸大JPEG2000的性能。事实上，在低压缩比情形下（比如压缩比小于10：1），传统的JPEG图像质量有可能要比JPEG2000要好。JPEG2000在压缩比比较高的情形下，优势才开始明显。整体来说，和传统的JPEG相比，JPEG2000仍然有很大的技术优势，通常压缩性能大概可以提高20%以上。一般在压缩比达到100：1的情形下，采用JPEG压缩的图像已经严重失真并开始难以识别了，但JPEG2000的图像仍可识别。有损压缩图像质量或失真程度一般用峰值信噪比（PSNR）指标来衡量。虽然峰值信噪比不能完全反映人类视觉效果，但是它仍是一个比较流行的量化指标。

Motion JPEG

        ~~~~~~~        Motion JPEG（MJPEG，Motion Joint Photographic Experts Group,FourCC:MJPG）是一种视频压缩格式，其中每一帧图像都分别使用JPEG编码。

        ~~~~~~~        同样格式的JPEG视频压缩不同于帧间压缩，因为压缩位元率比较低，所以编码与解码相对比较容易，并不需要过多的运算能力，也使得软件或者芯片可以十分容易地对Motion JPEG进行编辑。也因为此，一些移动设备，如数码相机使用Motion JPEG来进行短片的编码。

        ~~~~~~~        对于QuickTime格式，苹果公司定义了两种类型的编码：MJPEG格式A和MJPEG格式B。MJPEG格式B不再保留有效的JPEG交汇档案（Interchange Files），没有了头部，它无法把单独帧保存到JPEG文件。

        ~~~~~~~        相比其他未压缩格式（比如RGB，压缩比1:1；YCbCr，压缩比1:1.5）和MPEG（1:100），数据率29Mbit/s算是非常高的，带来的结果就是文件尺寸相对较大。

H.265

        ~~~~~~~        H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H.264由于算法优化，可以低于1Mbps的速度实现标清（分辨率在1280P720以下）数字图像传送；H.265则可以实现利用1~2Mbps的传输速度传送720P（分辨率1280720）普通高清音视频传送。

$~~~~~~~$2012年8月，爱立信公司推出了首款H.265编解码器，而在仅仅六个月之后，国际电联（ITU）就正式批准通过了HEVC/H.265标准，标准全称为高效视频编码（High Efficiency Video Coding），相较于之前的H.264标准有了相当大的改善，中国华为公司拥有最多的核心专利，是该标准的主导者。

        ~~~~~~~        H.265/HEVC的编码架构大致上和H.264/AVC的架构相似，主要也包含，帧内预测（intra prediction）、帧间预测（inter prediction）、转换（transform）、量化（quantization）、去区块滤波器（deblocking filter）、熵编码（entropy coding）等模块，但在HEVC编码架构中，整体被分为了三个基本单位，分别是编码单位（coding unit, CU）、预测单位（predict unit, PU）和转换单位（transform unit, TU）。

        ~~~~~~~        比起H.264/AVC，H.265/HEVC提供了更多不同的工具来降低码率，以编码单位来说，H.264中每个宏块（macroblock/MB）大小都是固定的16x16像素，而H.265的编码单位可以选择从最小的8x8到最大的64x64。

        ~~~~~~~        以上图为例，信息量不多的区域（颜色变化不明显，比如车体的红色部分和地面的灰色部分）划分的宏块较大，编码后的码字较少，而细节多的地方（轮胎）划分的宏块就相应的小和多一些，编码后的码字较多，这样就相当于对图像进行了有重点的编码，从而降低了整体的码率，编码效率就相应提高了。

        ~~~~~~~        同时，H.265的帧内预测模式支持33种方向（H.264只支持8种），并且提供了更好的运动补偿处理和矢量预测方法。

        ~~~~~~~        反复的质量比较测试已经表明，在相同的图象质量下，相比于H.264，通过H.265编码的视频大小将减少大约39-44%。由于质量控制的测定方法不同，这个数据也会有相应的变化。

        ~~~~~~~        通过主观视觉测试得出的数据显示，在码率减少51-74%的情况下，H.265编码视频的质量还能与H.264编码视频近似甚至更好，其本质上说是比预期的信噪比（PSNR）要好。

MPEG-4

        ~~~~~~~        MPEG4于1998 年11 月公布，原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG专家组的专家们正在为MPEG-4的制定努力工作。MPEG-4标准主要应用于视像电话(Video Phone)，视像电子邮件(Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率为176X144。

        ~~~~~~~        MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用以仙农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。

        ~~~~~~~        MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。

        ~~~~~~~        MPEG-4的编码理念是：MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。

总结

        ~~~~~~~        人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。

        ~~~~~~~        视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩、无损压缩）和有失真压缩（即不可逆压缩、有损压缩）两类。

        ~~~~~~~        传统压缩编码建立在香农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。

        ~~~~~~~        伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容 （content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象（object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。

        ~~~~~~~        与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++、H.264、H.265，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。