音视频学习从零到整--视频解码思路

作者：CC老师_HelloCoder
原文地址：https://www.jianshu.com/p/c99ce47f4280

音视频编解码处理流程,这个问题经常是面试官抛砖引玉的问题.他们渴望能从这个流程中看到你的宏观思考和微观技术处理.

• 采集
• 编码
• 解码
• 渲染

一.解码的思路:

• 解析数据(NALU Unit) I/P/B...
• 初始化解码器
• 将解析后的H264 NALU Unit 输入解码器
• 解码完成回调,输出解码数据
• 解码数据显示(OpenGL ES)

二.解码三个核心函数:

创建session, VTDecompressionSessionCreate

解码一个frame, VTDecompressionSessionDecodeFrame

销毁解码session,VTDecompressionSessionInvalidate

三.原理分析:

• H264原始码流-->NALU.
  I帧: 保留了一张完整视频帧. 解码关键!
  P帧: 先前参考帧.差异数据.解码需要依赖于I帧
  B帧: 双向参考帧,解码时既需要I帧,也需要P帧!

如果H264码流中I帧错误/丢失,就会导致错误传递,P/B帧单独是完成不了解码工作! 花屏的现象产生. VideoToolBox硬编码编码H264帧.I帧! 手动加入SPS/PPS. 解码时: 需要使用SPS/PPS数据来对解码器进行初始化!

四. 解码思路:

解析数据

既然NALU,一个接一个.实时解码! 首先,你要对数据解析! 分析NALU数据.前面4个字节是起始位!标识一个NALU的开始! 从第5位才开始来获取!从第五位才是NALU数据类型.
要获取到第5位数据,转化十进制,然后根据表格判断它数据类型!
判断好数据类型,才能将NALU送入解码器.SPS/PPS获取就可以,是不需求解码的!
CVPixelBufferRef 保存是解码后的数据或者未编码前的数据

解码数据
解码成功后将数据通过OpenGL ES渲染到屏幕上!