Android视音频知识

Android视音频知识

1. 视音频完整解码播放流程分析。

2. 视音频完整录制编码流程分析。

3. 为什么要编码，如何编码(编码原理) ?。

   为什么要编码？ 因为视频文件实在太大了，一部电影 200多个GB，编码：1G

视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。 由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频。
这么多连续的图像数据如果不经过编码的数据量太大了。
比如一个1920x1080分辨率，32位，每秒30帧的视频，一秒钟需要1920108032*30，大小大概为237MB 数据。

如何编码

编码的目的：

编码的目的，就是为了压缩。各种视频编码方式，都是为了让视频变得体积更小，有利于存储和传输。编码的 核心思想就是去除冗余信息。

空间冗余 == 相邻像素重复：

空间冗余：图像内部相邻像素之间存在较强的相关性多造成的冗余。

时间冗余 == 帧之间差值：

时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余。

视觉冗余 == 人类不敏感的颜色：深红色和浅红色OK，但是：红色偏一点点橘红色，你还分得清楚吗?

视觉冗余：是指人眼不能感知或不敏感的那部分图像信息。

信息熵冗余 == 熵编码-哈夫曼算法

信息熵冗余：也称编码冗余，人们用于表达某一信息所需要的比特数总比理论上表示该信息所需要的最少比特
数要大，它们之间的差距就是信息熵冗余，或称编码冗余。

知识冗余 == 人类(头 身体 腿)，汽车，房子 不需要记录

知识冗余：是指在有些图像中还包含与某些验证知识有关的信息。

I帧 P帧 B帧 压缩思路：

I帧：帧内编码帧，关键帧，I帧可以看作一个图像经过压缩之后的产物，可以单独解码出一个完整的图像； （压缩率最低）

P帧：前向预测/参考 编码帧，记录了本帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画 面叠加上本帧定义的差别，生成最终画面。
（压缩率比I帧高，比B帧低 属于 适中情况）

B帧：双向预测/参考 编码帧，记录了本帧与前后帧的差别，解码需要参考前面一个I帧或者P帧，同时也需要 后面的P帧才能解码一张完整的图像。
（参考前后的预测得到的，压缩率是最高，但是耗时）

4.H.264进制数据分析。

编码标准：

H.264 == MPEG-4 - AVC
HEVC == H.265 [H.264基础上 加入了更多的算法 = = 压缩的更小]

H.264分层结构(VCL与NAL)

VCL:

VCL（Video Coding Layer，视频编码层）：负责高效的视频内容表示，
VCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。

NAL:

NAL（Network Abstraction Layer，网络提取层）：负责以网络所要求的恰当的方式对数据进行打包和 传送，
是传输层。不管在本地播放还是网络播放，都要通过这一层来传输。

VCL就是被压缩编码后原始数据，在VCL数据封装到NAL单元中之后，才可以用于传输或存储。

NAL( 片 (宏块) )

一帧图片经过 H.264 编码器之后，NAL单元就是装载着这些片（被编码为一个或多个片 slice）, 每片包含整数个宏块（至少一个宏块，最多包含整个图像宏块）。

一般H.264编码器的默认输出为：起始码+NALU（Nal单元）。起始码为：0x00000001或者0x000001。
一个NALU（PPS, I帧，B帧，P帧） 为什么需求起始码，0x00000001或者0x000001 ？
答：因为每一个NALU都需要分隔，要分隔帧操作，就相对于写文章断句一样 为什么 0x00000001或者0x000001。 两种起始码 ？
答：0x00000001 起始码代表：一个NALU里面有很多片。 0x000001 起始码代表： 一个NALU里面一个片可以搞定。
反正你必须明白，遇到0x00000001或者0x000001，就是NALU的起始码来了

每个NALU 包含（起始码 与 1个字节的Nal Header 与 若干整数字节的负荷数据EBSP构成）

真正开发中：只分析：SPS序列参数集，PPS图像参数集，I帧

0x67 十六进制的写法， 67

为什么区低五位？

答：不得不说，一个字节的八位

0 1 1 0 0 1 1 1

SPS 序列参数集（记录有多少I帧，多少B帧，多少P帧，帧是如何排列） == 7 00 00 00 01 67，0x67 —>
2进制01100111 —> 取低五位 00000111 —> 十六进制 0x07

PPS 图像参数集（图像宽高信息等） == 8 00 00 00 01 68, 0x68 —> 2进制01101000—> 取低五位
00001000 —> 十六进制 0x08

SEI补充信息单元（可以记录坐标信息，人员信息， 后面解码的时候，可以通过代码获取此信息）
https://blog.csdn.net/y601500359/article/details/80943990 00 00 01 06
, 0x06 —> 2进制00000110—> 取低五位00000110 —> 十六进制 0x06

00 00 00 65, 0x65 —> 2进制01100101—> 取低五位00000101 —> —> 十六进制
0x06 最终是 5 I帧完整画面出来

0x01 == 普通P帧 和 重要P帧 ，还有B帧

00 00 00 01 61 重要的P帧

00 00	00	01	61	—> 2进制01100001—>	取低五位00000001	—>	—> 十六进制	0x01
00 00	00	01	41	—> 2进制01000001—>	取低五位00000001	—>	—> 十六进制	0x01

B帧：

00 00 00 01 01 —> 2进制00000001—> 取低五位00000001 —> —> 十六进制 0x01

05.PTS与DTS：

DTS表示解码时间戳，在什么时候解码这一帧的数据 ；
PTS表示显示时间戳 ，在什么时候显示这一帧。
在没有B帧的情况下，DTS和PTS的输出顺序是一样的。
因为B帧打乱了解码和显示的顺序（要解码B帧需要先解码后面的P帧），所以一旦存在B帧，PTS和DTS就会不同。

I帧 p b p b p b b p I帧 == GOP

I帧之间分为一组

I P B P B P B P B I 一组

i帧=GOP是什么理解的？
SPS PPS I P B P B P B P B I 一组
SPS PPS I P B P B P B P B I 二组