音视频基础知识

音视频基础知识

录像、录音，实质是一个压缩采集的图像或视频数据的过程(编码)，就会有各种各样的格式。
播放视频或音频文件，实质上是一个解压缩的过程(解码)

1. 视频文件后缀名是FLV，MKV，MP4等 ，都是封装格式的数据
2. 然后解封装
3. 接着获取 音频压缩数据 和 视频压缩数据
4. 音频压缩数据 解码 获得 音频采样数据(PCM)，视频压缩数据 解码 获得 视频像素数据(YUV)

采样率

采样率:44100
44100是人最大支持的采样率，再大没有什么意义

查看视频信息

MediaInfo软件

视频封装格式

作用

视频码流和音频流按照一定的格式存储在一个文件中

MPEG2-TS格式简介

不包含文件头。数据大小固定(188Byte)的Ts Packet构成

FLV格式简介

包含头文件。数据由大小不固定的Tag构成

视频编码数据

将视频像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量。

H.264 格式简介

数据由大小不固定的NALU构成
最常见的情况下，1个NALU存储了一帧画面的压缩编码后的数据
可以将视频数据压缩100倍以上

音频编码数据

将音频采样率数据(PCM等)压缩成为音频码流，从而降低音频的数据量。

AAC格式简介

数据由大小不固定的ADTS构成
可以将音频数据压缩10倍以上

视频像素数据

保存了屏幕中每个像素点的像素值

特点

视频像素体积很大

Y是U和V的4倍

音频采样数据

保存了音频中每个采样点的值

特点

音频采样数据体积很大

其他

H264码流格式