【转】iOS8系统H264视频硬件编解码说明

文章转自：小武的技术渔场-iOS8系统H264视频硬件编解码说明

1，将H264码流转换成解码前的CMSampleBuffer。
由图1.1所示，解码前的CMSampleBuffer = CMTime + FormatDesc + CMBlockBuffer。需要从H264的码流里面提取出以上的三个信息。最后组合成CMSampleBuffer，提供给硬解码接口来进行解码工作。
H264的码流由NALU单元组成，NALU单元包含视频图像数据和H264的参数信息。其中视频图像数据就是 CMBlockBuffer，而H264的参数信息则可以组合成 FormatDesc。具体来说参数信息包含SPS（Sequence Parameter Set）和PPS （Picture Parameter Set）。图2.2显示一个H264码流的结构。

图2.2 h264码流结构

图2.2 h264码流结构
（1）提取sps和pps生成format description。
a，每个NALU的开始码是0x00 00 01，按照开始码定位NALU。
b，通过类型信息找到sps和pps并提取，开始码后第一个byte的后5位，7代表sps ，8代表pps 。
c，CMVideoFormatDescriptionCreateFromH264ParameterSets函数来构建CMVideoFormatDescriptionRef。具体代码可以见demo。
（2）提取视频图像数据生成CMBlockBuffer。
a，通过开始码，定位到NALU。
b，确定类型为数据后，将开始码替换成NALU的长度信息（4 Bytes）。
c，CMBlockBufferCreateWithMemoryBlock接口构造CMBlockBufferRef。具体代码可以见demo。
（3）根据需要，生成CMTime信息。（实际测试时，加入time信息后，有不稳定的图像，不加入time信息反而没有，需要进一步研究，这里建议不加入time信息）
根据上述得到CMVideoFormatDescriptionRef、CMBlockBufferRef和可选的时间信息，使用CMSampleBufferCreate接口得到CMSampleBuffer数据这个待解码的原始的数据。见图2.3的H264数据转换示意图。

图2.3 h264转换成CMSampleBuffer

图2.3 h264转换成CMSampleBuffer
2，硬件解码图像显示。
硬件解码显示的方式有两种：
（1）通过系统提供的AVSampleBufferDisplayLayer来解码并显示。
AVSampleBufferDisplayLayer是苹果提供的一个专门显示编码后的H264数据的显示层，它是CALayer的子类，因此使用方式和其它CALayer类似。该层内置了硬件解码功能，将原始的CMSampleBuffer解码后的图像直接显示在屏幕上面，非常的简单方便。图2.4显示了这一解码过程。

图2.4 AVSampleBufferDisplayLayer显示图像

图2.4 AVSampleBufferDisplayLayer显示图像
显示的接口为[_avslayer enqueueSampleBuffer:sampleBuffer];
（2）通过VTDecompression接口来，将CMSampleBuffer解码成图像，将图像通过UIImageView或者OpenGL上显示。
a，初始化VTDecompressionSession，设置解码器的相关信息。初始化信息需要CMSampleBuffer里面的FormatDescription，以及设置解码后图像的存储方式。demo里面设置的CGBitmap模式，使用RGB方式存放。编码后的图像经过解码后，会调用一个回调函数，将解码后的图像交个这个回调函数来进一步处理。我们就在这个回调里面，将解码后的图像发给control来显示，初始化的时候要将回调指针作为参数传给create接口函数。最后使用create接口对session来进行初始化。
b，a中所述的回调函数可以完成CGBitmap图像转换成UIImage图像的处理，将图像通过队列发送到Control来进行显示处理。
c，调用VTDecompresSessionDecodeFrame接口进行解码操作。解码后的图像会交由a，b步骤设置的回调函数，来进一步的处理。
图2.5 显示来硬解码的过程步骤。

图2.5 VTDecompression解码过程

图2.5 VTDecompression解码过程
三，硬编码使用方法。
硬编码的使用也通过一个典型的应用场景来描述。首先，通过摄像头来采集图像，然后将采集到的图像，通过硬编码的方式进行编码，最后编码后的数据将其组合成H264的码流通过网络传播。
1，摄像头采集数据。
摄像头采集，iOS系统提供了AVCaptureSession来采集摄像头的图像数据。设定好session的采集解析度。再设定好input和output即可。output设定的时候，需要设置delegate和输出队列。在delegate方法，处理采集好的图像。
注意，需要说明的是，图像输出的格式，是未编码的CMSampleBuffer形式。
2，使用VTCompressionSession进行硬编码。
（1）初始化VTCompressionSession。 VTCompressionSession初始化的时候，一般需要给出width宽，height长，编码器类型kCMVideoCodecType_H264等。然后通过调用VTSessionSetProperty接口设置帧率等属性，demo里面提供了一些设置参考，测试的时候发现几乎没有什么影响，可能需要进一步调试。最后需要设定一个回调函数，这个回调是视频图像编码成功后调用。全部准备好后，使用VTCompressionSessionCreate创建session。
（2）提取摄像头采集的原始图像数据给VTCompressionSession来硬编码。 摄像头采集后的图像是未编码的CMSampleBuffer形式，利用给定的接口函数CMSampleBufferGetImageBuffer从中提取出CVPixelBufferRef，使用硬编码接口VTCompressionSessionEncodeFrame来对该帧进行硬编码，编码成功后，会自动调用session初始化时设置的回调函数。
（3）利用回调函数，将因编码成功的CMSampleBuffer转换成H264码流，通过网络传播。
基本上是硬解码的一个逆过程。解析出参数集SPS和PPS，加上开始码后组装成NALU。提取出视频数据，将长度码转换成开始码，组长成NALU。将NALU发送出去。
图2.6显示了整个硬编码的处理逻辑。

图2.6 硬编码处理流程.PNG

图2.6 硬编码处理流程.PNG
由于Video Toolbox是基础的core Foundation库函数，C语言写成，和使用core Foundation所有的其它功能一样需要适应，记得Github有个同志，将其改成了OC语言能方便调用的模式，这位同志的地址 点我。