AAC、H264网络流播放-H264硬解码显示

h264视频

收到的纯视频或者音频的数据应该先保存到本地，用vlc先测试，如果能播放证明数据没有问题，才好进行下一步解码播放

关于VideoToolBox也有很多的东西，接口和属性的定义等,找到两篇文章做了介绍
使用VideoToolbox硬解码H.264
VideoToolbox解析

当初自己注释的代码不小心删了，现在对比着demo在捋一下流程decode demo

• 声明用到的几个成员

//sps 和 pps的内存区以及大小
uint8_t *_sps;
NSInteger _spsSize;
uint8_t *_pps;
NSInteger _ppsSize;
//解码会话的引用
VTDecompressionSessionRef _deocderSession;
//描述媒体数据和其他各样的类型的引用
CMVideoFormatDescriptionRef _decoderFormatDescription;

• 解码的入口

#pragma mark - 对外提供解码接口
-(void) decodeNalu:(uint8_t *)frame withSize:(uint32_t)frameSize;

1.此函数中，将前四个字节替换为数据帧的大小减去00 00 00 01四个字节；这一步我记得有一个方法可以直接转换的（CFSwapInt32HostToBig），现在是手动一个字节一个字节转的。
2.判断，nalu类型，如果是5代表关键帧初始化解码器，7和8分别初始化sps和pps其他的就是数据帧调用解码函数。

• 初始化解码器

按流程倒着来：
为解码视频帧创建一个解码会话，VTDecompressionSessionCreate，解码的帧会通过回调函数发出。函数要传递一些参数
1.分配器，传NULL使用默认的即可
2.videoFormatDescription就是成员描述媒体数据的那个引用
3.指定一个专门的视频解码器，传入NULL让video toolbox选择一个解码器
4.想要输出的图像数据的属性等
5.解码后的回调函数
6.成员中的那个deocderSession来接收创建的这个解码会话

然后可以为这个会话设置一些属性

//kVTDecompressionPropertyKey_RealTime 解码实时输出，后面那个参数具体没弄清呢
VTSessionSetProperty(_deocderSession, kVTDecompressionPropertyKey_RealTime, kCFBooleanTrue);

这样的话，在initH264Decoder方法中最开始那些操作当然就是为VTDecompressionSessionCreate这个做的一些准备了。看看就懂了。

• 解码

通过CMBlockBufferCreateWithMemoryBlock方法创建CMBlockBufferRef，在用BlockBuffer通过CMSampleBufferCreateReady创建CMSampleBufferRef，然后使用VTDecompressionSessionDecodeFrame进行解码，解码后会调用回调函数。在回调函数中，使用了代理传出解码后的数据，进行显示。

在这个解码方法中有个sourceFrameRefCon参数，传入了一开始定义的CVPixelBufferRef outputPixelBuffer = NULL;这里这个参数跟回调函数中那个sourceFrameRefCon是一个。

• 显示的方法:这里直接使用了apple写好的一个AAPLEAGLLayer来显示了，貌似还可以转为图片显示哦

//先创建
-(void)createLayer{
    _playLayer = [[AAPLEAGLLayer alloc] initWithFrame:CGRectMake(0, 0, self.frame.size.width, self.frame.size.height)];
    _playLayer.backgroundColor = [UIColor blackColor].CGColor;
    [self.layer addSublayer:_playLayer];
}
//代理
#pragma mark -  解码回调
- (void)displayDecodedFrame:(CVImageBufferRef )imageBuffer{
    if(imageBuffer)
    {
        _playLayer.pixelBuffer = imageBuffer;
        CVPixelBufferRelease(imageBuffer);
    }
    return;
}

• 关于一些数据结构定义

1、CVPixelBuffer：编码前和解码后的图像数据结构；
2、CMBlockBuffer：编码后图像的数据结构；
而CMSampleBuffer就相当于一个容器，他存放上面两种类型的一种以及cmtime等一些参数。供编解码器使用。

我们还可以看到一些结构如下：

typedef CVImageBufferRef CVPixelBufferRef;  
typedef CVBufferRef CVImageBufferRef;

一开始纳闷这是啥意思，这样有啥用，后来看文档说的很清楚：CVBuffer就像抽象基类一样，他定义了如何与缓冲区的数据进行交互。这个buffer可以包含视频，音频等，像CVImageBuffer，CVPixelBuffer都是由它衍生出来的。这一点和CMVideoFormatDescriptionRef也类似，CMFormatDescriptions代表一些描述信息，可以用来描述音频视频等类型，也是基类一样，具体明确的description就有CMVideoFormatDescription和CMAudioFormatDescription。