C++音视频01：视频基础、音频基础、封装格式

视频基础

音视频录制原理

音视频播放原理

图像表示-RGB格式

图像表示-YUV格式1

图像表示-YUV格式2

图像表示-YUV格式3

图像表示

相较于RGB，我们可以计算一帧为1280×720的视频帧，用YUV420P的格式来表示，其数据量的大小如下： 4 2 -> 1 + 0.5 = 1.5
1280 * 720 * 1 ＋ 1280 * 720 * 0.5 = 1.318MB
如果fps（1秒的视频帧数目）是25，按照一般电影的长度90分钟来计算，那么这部电影用YUV420P的数据格式来表示的话，其数据量的大小就是：
1.318MB * 25fps * 90min * 60s = 173.76GB

视频的主要概念1

视频码率：kb/s，是指视频文件在单位时间内使用的数据流量，也叫码流率。码率越大，说明单位时间内取样率越大，数据流精度就越高。

视频帧率：fps，通常说一个视频的25帧，指的就是这个视频帧率，即1秒中会显示25帧。帧率越高，给人的视觉就越流畅。

视频分辨率：分辨率就是我们常说的640x480分辨率、1920x1080分辨率，分辨率影响视频图像的大小。

视频的主要概念2-I P B帧

I 帧（Intra coded frames）：I帧不需要参考其他画面而生成,解码时仅靠自己就重构完整图像;
I帧图像采用帧内编码方式;
I帧所占数据的信息量比较大;
I帧图像是周期性出现在图像序列中的，出现频率可由编码器选择;
I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
I帧不需要考虑运动矢量;

视频的主要概念3-I P B帧

常用视频压缩算法

MPEG2 MPEG阵营
H264 MPEG阵营
H265 MPEG阵营
AVS 中国阵营
VP8 Google阵营
VP9 Google阵营

音频基础

数字音频

采样频率

采样量化

音频常见名词

采样频率：每秒钟采样的点的个数。常用的采样频率有：
22000（22kHz）： 无线广播。
44100（44.1kHz）：CD音质。
48000（48kHz）： 数字电视，DVD。
96000（96kHz）： 蓝光，高清DVD。
192000(192kHz): 蓝光，高清DVD。

采样精度（采样深度）：每个“样本点”的大小，
常用的大小为8bit， 16bit，24bit。

通道数：单声道，双声道，四声道，5.1声道。

比特率：每秒传输的bit数，单位为：bps（Bit Per Second）
间接衡量声音质量的一个标准。
没有压缩的音频数据的比特率 = 采样频率 * 采样精度 * 通道数。

码率： 压缩后的音频数据的比特率。常见的码率：
96kbps： FM质量
128-160kbps：一般质量音频。
192kbps： CD质量。
256-320Kbps：高质量音频
码率越大，压缩效率越低，音质越好，压缩后数据越大。
码率 = 音频文件大小/时长。

例如：

帧：每次编码的采样单元数，比如MP3通常是1152个采样点作为一个编码单元，AAC通常是1024个采样点作为一个编码单元。

帧长：
可以指每帧播放持续的时间：每帧持续时间(秒) = 每帧采样点数 / 采样频率（HZ）
比如：MP3 48k, 1152个采样点,每帧则为 24毫秒
1152/48000= 0.024 秒 = 24毫秒；
也可以指压缩后每帧的数据长度。

所以讲到帧的时候要注意他适用的场合。

音频编码原理简介

音频编码-频谱掩蔽效应

音频编码-时域掩蔽效应

音频编码-压缩编码方法

音频编解码器选型

OPUS
MP3
AAC
AC3和EAC3 杜比公司的方案

封装格式

例如：

常见的视频封装格式

音视频同步基础