iOS短视频SDK中的AVFoundation实践

1. 前言

在iOS中，AVFoundation是一个集视频播放、播放缓存、视频转码、图层混合、混音、变调、变速等诸多功能的多媒体库，在iOS短视频SDK中，使用到了
AVFoundation的硬解和播放模块，以下将介绍短视频SDK中对这些模块的应用实践和遇到的问题以及解决方案。

2. 基本概念

1. 解码：将压缩数据还原为未压缩数据，关于利用VideoToolbox硬解H.264可以参考这篇文章；
2. 编码：将原始数据进行压缩生成另一种格式；
3. 转码：将已压缩的视频码流转换成另一种视频码流；

3. 问题及解决方案

在AVFoundation中提供了多层可用于播放的组件，例如AVPlayerViewController和AVPlayer，这些系统组件可以满足视频的基本播放功能，在项目中，我们采用了AVPlayer进行播放预览，但使用中遇到不少问题，后改用AVAssetReader做解码，对解码后的数据进行处理后做预览。下面介绍播放预览中系统组件的一些使用注意事项。

3.1 MediaToolBox使用注意事项

在使用AVPlayer做音频变调、混响的预览时，用到了MTAudioProcessingTap ，该类的所有回调是以函数指针存放于结构体中：

typedef struct {
    int version;
    void* CM_NULLABLE clientInfo;
    MTAudioProcessingTapInitCallback CM_NULLABLE init;
    MTAudioProcessingTapFinalizeCallback CM_NULLABLE finalize;
    MTAudioProcessingTapPrepareCallback CM_NULLABLE prepare;
    MTAudioProcessingTapUnprepareCallback CM_NULLABLE unprepare;
    MTAudioProcessingTapProcessCallback CM_NONNULL process;
} MTAudioProcessingTapCallbacks;

OC与C函数交互时，我们会在clientInfo变量中存放OC对象，在C语言函数的回调方法里使用__bridge的方式获取OC对象。
当OC对象释放时，MTAudioProcessingTap的callback才返回，在回调的C函数里面获取到的clientInfo就是野指针，crash就产生了。
在clientInfo指向的对象被释放时，需要保存已释放的状态，在回调里首先检查该状态，判断当前对象是否释放，以避免造成野指针访问。

3.2 AVAssetReader使用注意事项

AVAssetReader可用于读取AVAsset媒体资源的轨道数据，支持解码、格式转换、mix等操作。但注意事项也不少：

1. AVAssetReader不可重复调用startReading，当出现fail或complete状态后也不能重复调用；
2. AVAssetReader做解码的时候，切换后台/来电会失去GPU权限，造成解码失败，AVAssetReader也变成fail状态。异常打断结束后，需要重启reader，并确定reader重启成功，否则需要retry；
3. AVAssetReader启动后调用seek时，并不会很精准seek到目标点，一般会比指定的时间早几帧（AVPlayer的精准seek，也有同样的问题），需要记录seek的目标时间点，如果seek后读取出的buffer携带的 pts比seek的目标时间小，需要抛弃该数据；
4. AVAssetReaderOutput不可重复添加，也不可在AssetReader调用startReading后添加；
5. AVAssetReaderOutput不可在未添加前调用 copyNextSampleBuffer；
6. AVAssetReader释放资源时，需要调用cancelReading来释放 AVAsset资源，否则会出现fetch不到该资源的问题；
7. AVAssetReader对文件视频首帧非关键帧的视频会解码失败，这说明AVAssetReader对文件格式要求很严格，不够鲁棒；
8. AVAssetReader不支持m3u8文件，回出现读取不到轨道信息的情况，如果需要解析HLS视频，需要使用FFMpeg进行解封装和VideoToolBox解码；
9. AVAssetReader内部创建了解码器和缓存列表，但解码器数量是有限制的（同AVPlayerItem）。

当然AVAssetReader 只做demux，不做解码工作时可以避免上述一些问题，但需要自行使用VideoToolBox进行硬解，pixel format转换也得单独处理。

3.3 AudioQueue使用注意事项

AudioQueue可进行音频播放，开播前会预缓存一定数量的buffer数据。在allocate buffer时，需要设置buffer的大小，该大小需要根据audio data format来设置，正常播放没有问题，但播放速度非1.0的情况下，buffer太小时或太大，都会有异常的问题，需要考虑的有mBytesPerFrame、mChannelsPerFrame以及mSampleRate。

而解码后得到的音频frame buffer中采样数并不固定，当多音频播放时，需要考虑是否存在audio data format变化的问题。
当然，每次切换音频，重启AudioQueue也是一种方案。

AudioQueue的数据获取采用的是pull模式。在
AudioQueueOutputCallback的回调中，需要Enqueue待缓存的AudioQueueBufferRef。
当Enqueue的时候，可能会触发AudioQueueStop或者AudioQueueDispose，尽管inImmediate设置为true，也会造成假死一段时间，需要在 AudioQueueOutputCallback的回调函数中先检查状态是否需要停止，如果为正常状态，则Enqueue buffer，否则flush掉当前 AudioQueue的数据。

4. 结语

以上是iOS短视频使用到的AVFoundation组件时遇到的问题，在 金山云多媒体SDK中硬编直接使用VideoToolBox做编码，避免了一些AVAssetWriter的问题，此处未做赘述。
以上是遇到的一些问题，欢迎指正。