Android音视频开发（1）：H264 基本原理

前言

H264 视频压缩算法现在无疑是所有视频压缩技术中使用最广泛，最流行的。随着 x264/openh264 以及 ffmpeg 等开源库的推出，大多数使用者无需再对H264的细节做过多的研究，这大降低了人们使用H264的成本。

但为了用好 H264，我们还是要对 H264 的基本原理弄清楚才行。今天我们就来看看H264 的基本原理。

H264概述

H264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：

帧内预测压缩，解决的是空域数据冗余问题。
帧间预测压缩（运动估计与补偿），解决的是时域数据冗徐问题。
整数离散余弦变换（DCT），将空间上的相关性变为频域上无关的数据然后进行量化。
CABAC压缩。

经过压缩后的帧分为：I帧，P帧和B帧:

I帧：关键帧，采用帧内压缩技术。
P帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧音压缩技术。
B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。

除了I/P/B帧外，还有图像序列GOP。

GOP:两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。如下图所示：

下面我们就来详细描述一下H264压缩技术。

H264压缩技术

H264的基本原理其实非常简单，下我们就简单的描述一下H264压缩数据的过程。通过摄像头采集到的视频帧（按每秒 30 帧算），被送到 H264 编码器的缓冲区中。编码器先要为每一幅图片划分宏块。

以下面这张图为例:

划分宏块

H264默认是使用 16X16 大小的区域作为一个宏块，也可以划分成 8X8 大小。

划分好宏块后，计算宏块的象素值。

以此类推，计算一幅图像中每个宏块的像素值，所有宏块都处理完后如下面的样子。

划分子块

H264对比较平坦的图像使用 16X16 大小的宏块。但为了更高的压缩率，还可以在 16X16 的宏块上更划分出更小的子块。子块的大小可以是 8X16､ 16X8､ 8X8､ 4X8､ 8X4､ 4X4非常的灵活。

上幅图中，红框内的 16X16 宏块中大部分是蓝色背景，而三只鹰的部分图像被划在了该宏块内，为了更好的处理三只鹰的部分图像，H264就在 16X16 的宏块内又划分出了多个子块。

这样再经过帧内压缩，可以得到更高效的数据。下图是分别使用mpeg-2和H264对上面宏块进行压缩后的结果。其中左半部分为MPEG-2子块划分后压缩的结果，右半部分为H264的子块划压缩后的结果，可以看出H264的划分方法更具优势。

宏块划分好后，就可以对H264编码器缓存中的所有图片进行分组了。

帧分组

对于视频数据主要有两类数据冗余，一类是时间上的数据冗余，另一类是空间上的数据冗余。其中时间上的数据冗余是最大的。下面我们就先来说说视频数据时间上的冗余问题。

为什么说时间上的冗余是最大的呢？假设摄像头每秒抓取30帧，这30帧的数据大部分情况下都是相关联的。也有可能不止30帧的的数据，可能几十帧，上百帧的数据都是关联特别密切的。

对于这些关联特别密切的帧，其实我们只需要保存一帧的数据，其它帧都可以通过这一帧再按某种规则预测出来，所以说视频数据在时间上的冗余是最多的。

为了达到相关帧通过预测的方法来压缩数据，就需要将视频帧进行分组。那么如何判定某些帧关系密切，可以划为一组呢？我们来看一下例子，下面是捕获的一组运动的台球的视频帧，台球从右上角滚到了左下角。

H264编码器会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。如下图：

通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此，上面这几帧就可以划分为一组。其算法是：在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内，我们认为这样的图可以分到一组。

在这样一组帧中，经过编码后，我们只保留第一帖的完整数据，其它帧都通过参考上一帧计算出来。我们称第一帧为IDR／I帧，其它帧我们称为P／B帧，这样编码后的数据帧组我们称为GOP。

运动估计与补偿

在H264编码器中将帧分组后，就要计算帧组内物体的运动矢量了。还以上面运动的台球视频帧为例，我们来看一下它是如何计算运动矢量的。

H264编码器首先按顺序从缓冲区头部取出两帧视频数据，然后进行宏块扫描。当发现其中一幅图片中有物体时，就在另一幅图的邻近位置（搜索窗口中）进行搜索。如果此时在另一幅图中找到该物体，那么就可以计算出物体的运动矢量了。下面这幅图就是搜索后的台球移动的位置。

通过上图中台球位置相差，就可以计算出台图运行的方向和距离。H264依次把每一帧中球移动的距离和方向都记录下来就成了下面的样子。

运动矢量计算出来后，将相同部分（也就是绿色部分）减去，就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存，以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示：

我们把运动矢量与补偿称为帧间压缩技术，它解决的是视频帧在时间上的数据冗余。除了帧间压缩，帧内也要进行数据压缩，帧内数据压缩解决的是空间上的数据冗余。下面我们就来介绍一下帧内压缩技术。

帧内预测

人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以基于一些研究，可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧内预测技术。

H264的帧内压缩与JPEG很相似。一幅图像被划分好宏块后，对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。

下面这幅图是对整幅图中的每个宏块进行预测的过程。

帧内预测后的图像与原始图像的对比如下：

然后，将原始图像与帧内预测后的图像相减得残差值。

再将我们之前得到的预测模式信息一起保存起来，这样我们就可以在解码时恢复原图了。效果如下：

经过帧内与帧间的压缩后，虽然数据有大幅减少，但还有优化的空间。

对残差数据做DCT

可以将残差数据做整数离散余弦变换，去掉数据的相关性，进一步压缩数据。如下图所示，左侧为原数据的宏块，右侧为计算出的残差数据的宏块。

将残差数据宏块数字化后如下图所示：

将残差数据宏块进行 DCT 转换。

去掉相关联的数据后，我们可以看出数据被进一步压缩了。

做完 DCT 后，还不够，还要进行 CABAC 进行无损压缩。

CABAC

上面的帧内压缩是属于有损压缩技术。也就是说图像被压缩后，无法完全复原。而CABAC属于无损压缩技术。

无损压缩技术大家最熟悉的可能就是哈夫曼编码了，给高频的词一个短码，给低频词一个长码从而达到数据压缩的目的。MPEG-2中使用的VLC就是这种算法，我们以 A-Z 作为例子，A属于高频数据，Z属于低频数据。看看它是如何做的。

CABAC也是给高频数据短码，给低频数据长码。同时还会根据上下文相关性进行压缩，这种方式又比VLC高效很多。其效果如下：

现在将 A-Z 换成视频帧，它就成了下面的样子。

从上面这张图中明显可以看出采用 CACBA 的无损压缩方案要比 VLC 高效的多。

小结

至此，我们就将H264的编码原理讲完了。本篇文章主要讲了以下以点内容：

简音介绍了H264中的一些基本概念。如I/P/B帧， GOP。
详细讲解了H264编码的基本原理，包括：

宏块的划分
图像分组
帧内压缩技术原理
帧间压缩技术原理。
DCT
CABAC压缩原理。

最后

大家都知道要入门音视频要学习音视频录制，编码，处理，但是具体不知道怎么做。我自己在入门的时候也一样，靠着搜索引擎自己一点一点的积累，在这里当然要谢谢在该领域无私奉献的大佬们。

下面是我整理的学习路线，相信我，如果你认真学完了，你一定会成为音视频人才招聘市场的香饽饽～～

一、初级入门篇：

一、绘制图片

ImageView 绘制图片
SurfaceView 绘制图片
自定义 View 绘制图片

二、AudioRecord API详解

三、使用 AudioRecord 实现录音，并生成wav

创建一个AudioRecord对象
初始化一个buffer
开始录音
创建一个数据流，一边从AudioRecord中读取声音数据到初始化的buffer，一边将buffer中数据导入数据流。
关闭数据流
停止录音

四、用 AudioTrack 播放PCM音频

1.AudioTrack 基本使用

MODE_STATIC模式
MODE_STREAM模式

2.AudioTrack 详解

音频流的类型
Buffer分配和Frame的概念
AudioTrack构造过程

AudioTrack 与 MediaPlayer 的对比

区别
联系
SoundPool

五、使用 Camera API 采集视频数据

1.预览 Camera 数据

2.取到 NV21 的数据回调

六、使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件

1.MediaExtractor API介绍

2.MediaMuxer API介绍

3.使用情境

七、MediaCodec API 详解

1.MediaCodec 介绍

2.MediaCodec API 说明

3.MediaCodec 流控

流控基本概念
Android 硬编码流控
Android 流控策略选择

由于文章篇幅受限，剩余内容过多，文中插图有限，下文只能截图目录展示：

所有知识点详细内容都整理在了开源项目【GitHub】,有需要的可以自取。

二、中级进阶篇：

Android OpenGL ES 开发（一）: OpenGL ES 介绍
Android OpenGL ES 开发（二）: OpenGL ES 环境搭建
Android OpenGL ES 开发（三）: OpenGL ES 定义形状
Android OpenGL ES 开发（四）: OpenGL ES 绘制形状
Android OpenGL ES 开发（五）: OpenGL ES 使用投影和相机视图
Android OpenGL ES 开发（六）: OpenGL ES 添加运动效果
Android OpenGL ES 开发（七）: OpenGL ES 响应触摸事件
Android OpenGL ES 开发（八）: OpenGL ES 着色器语言GLSL
Android OpenGL ES 开发（九）: OpenGL ES 纹理贴图
Android OpenGL ES 开发（十）: 通过GLES20与着色器交互
使用 OpenGL 显示一张图片
GLSurfaceviw 绘制 Camera 预览画面及实现拍照
使用OpenGL ES 完成视频的录制，并实现视频水印效果

高级探究篇：

深入学习音视频编码，如H.264，AAC，研究使用开源编解码库，如x.264，JM 等
深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4
深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等
将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器
将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能
将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能

音视频编解码技术

音视频编解码技术（一）：MPEG-4/H.264 AVC 编解码标准
音视频编解码技术（二）：AAC 音频编码技术

流媒体协议

流媒体协议（一）：HLS 协议
流媒体协议（二）：RTMP协议

多媒体文件格式

多媒体文件格式（一）：MP4 格式
多媒体文件格式（二）：FLV 格式
多媒体文件格式（三）：M3U8 格式
多媒体文件格式（四）：TS 格式
多媒体文件格式（五）：PCM / WAV 格式

FFmpeg 学习记录

FFmpeg命令行工具学习(一)：查看媒体文件头信息工具ffprobe
FFmpeg命令行工具学习(二)：播放媒体文件的工具ffplay
FFmpeg命令行工具学习(三)：媒体文件转换工具ffmpeg
FFmpeg命令行工具学习(四)：FFmpeg 采集设备
FFmpeg命令行工具学习(五)：FFmpeg 调整音视频播放速度

FFmpeg 学习(一)：FFmpeg 简介
FFmpeg 学习(二)：Mac下安装FFmpeg
FFmpeg 学习(三)：将 FFmpeg 移植到 Android平台
FFmpeg 学习(四)：FFmpeg API 介绍与通用 API 分析
FFmpeg 学习(五)：FFmpeg 编解码 API 分析
FFmpeg 学习(六)：FFmpeg 核心模块 libavformat 与 libavcodec 分析

FFmpeg 结构体学习(一)： AVFormatContext 分析
FFmpeg 结构体学习(二)： AVStream 分析
FFmpeg 结构体学习(三)： AVPacket 分析
FFmpeg 结构体学习(四)： AVFrame 分析
FFmpeg 结构体学习(五)： AVCodec 分析
FFmpeg 结构体学习(六)： AVCodecContext 分析
FFmpeg 结构体学习(七)： AVIOContext 分析
FFmpeg 结构体学习(八)：FFMPEG中重要结构体之间的关系

更多目录截图：

总结：以上就是关于音视频的资料最强整理和概括了（还有部分内容没有截图出来），相信应该是全网最全了，所有资料都是免费分享给大家的，也省去了对音视频感兴趣的小伙伴们四处找资料的时间，如果你正好需要可以点此处免费获取

音视频开发的前景，相信大家从相关的招聘网站上就可以看到，不管是流媒体开发还是音视频处理开发，都是大量招人的，并且由于入门门槛相对较高，学习周期长，薪资也是居高不下。

另外：小编还收集整理一些音视频相关配套视频，相信能使大家学习起来更加快速有效：

**文中所有资料都是免费分享给大家的，[只需你动动手指点击此处就可直达免费领取方式了。](https://github.com/zhireshini...
)**

Android架构师之路很漫长，一起共勉吧！学习之路犹如逆水行舟，不进则退，如果你松懈了，那么你就退步了，而在Android开发工作中没有一门吃香独特的技术，想拿高薪也只能是望尘莫及的。做个勤奋向上的人，加紧学习，抓住中心，宁精勿杂，宁专勿多。

如果你正好需要这份完整版Android音视频开发，只需你多多支持我这篇文章。

快速入手通道：（点这里）下载！诚意满满！！！

整理不易，觉得有帮助的朋友可以帮忙点赞分享支持一下小编~

你的支持，我的动力；祝各位前程似锦，offer不断！！！