使用AVFoundation对视频进行处理

关键字：AVFoundation,AVAsset,AVComposition,AVVideoComposition,AVVideoCompositionInstruction,AVVideoCompositionLayerInstruction

最近做了一个关于视频处理的项目，刚开始的需求大概只有：

• 对视频制定区域进行裁剪
• 对几段视频进行裁剪拼接
• 对视频及音频进行拼接

遇到不会做的需求，很习惯就是Google一下别人的Demo是怎么做的，然后大概看一下是如何实现的，然后拿过来修改一下。嗯，按照我后来学习了一下AVFoundation这个库之后，感觉我第一阶段的工作自己应该是几乎没弄懂什么。好了，工作又有进一步的需求了：

• 实现视频间的过渡效果
• 实现多段视频分屏显示的效果
• 实现视频添加字幕，以及字幕动画效果

这些内容Google出来的内容，很难明白到底是怎么实现的，已经其实什么都没说出来，很多的都是这个复制另一个的代码，修改一下，这完全不能做到让你学会使用，大多都是让你学会搬砖。

还好我找到一本书AVFoundation秘籍

对于媒体的编辑，主要看熟里面的第九章以及第十一章，进阶的是在第十二章。

媒体的组合和编辑

在iOS中，所有的音视频都被抽象成AVAsset对象，这样一来就可以简化了不同格式的媒体，并且可以将所有的音视频都是用统一的接口进行处理，这很符合面向对象的习惯。
如果我们有使用过一些音视频剪切的工具，其实可以看到在处理剪切合成的时候，你的每一段素材，在进行剪切以及合并之后，其实仍然是可以进行单独播放已经继续编辑的一个实体，这个原理跟iOS的媒体组合和编辑是差不多的。

组合类.png

其实可以简单的理解成:

• 我们平时播放的AVAsset，是由多段完整的AVAssetTrack，其中最简单的就是包含一段完整AVMediaTypeVideo类型的AVAssetTrack，以及一段完整AVMediaTypeAudio类型的AVAssetTrack。
• AVAssetTrack用于提供接口对媒体的轨道进行操作。
• AVComposition这个组合的类，顾名思义是用于负责描述多个AVAssetTrack组合的关系，由于他是继承于AVAsset的，因此他也是可以单独作为AVAsset来使用，这里非常重要。
• AVCompositionTrackSegment，轨道的片段，不过目前我还没有需要使用。

于是使用上面类图，我们能做什么呢？我们能简单的将几个视频首尾拼接成一个视频进行播放导出，以及将音频视频进行简单的拼接处理（ps：这里的视频拼接不能在同一时刻有另外的视频在播放，不然会出现黑屏的现象，解决方法会在后面出现）。

    //首先定义两个需要操作的资源
    AVAsset *assetA = [AVAsset assetWithURL:[NSURL URLWithString:@"A"]];
    AVAsset *assetB = [AVAsset assetWithURL:[NSURL URLWithString:@"B"]];
    
    //定义两个资源的轨道
    AVAssetTrack *trackA = [assetA tracksWithMediaType:AVMediaTypeVideo].firstObject;
    AVAssetTrack *trackB = [assetB tracksWithMediaType:AVMediaTypeVideo].firstObject;
    
    //定义一个用于操作资源组合的可变资源
    AVMutableComposition *composition = [AVMutableComposition composition];
    
    //定义两个资源的组合轨道
    AVMutableCompositionTrack *compositionTrackA = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
    AVMutableCompositionTrack *compositionTrackB = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
    
    //为两个组合轨道分别插入0s-3s段的资源，a在0-3s播放，b在3-6s播放
    [compositionTrackA insertTimeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMakeWithSeconds(3, NSEC_PER_SEC)) ofTrack:trackA atTime:kCMTimeZero error:nil];
    [compositionTrackB insertTimeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMakeWithSeconds(3, NSEC_PER_SEC)) ofTrack:trackB atTime:CMTimeMakeWithSeconds(3, NSEC_PER_SEC) error:nil];
    
    //到这里就可以直接使用composition进行播放

    AVPlayerItem *playerItem = [AVPlayerItem playerItemWithAsset:composition];
    AVPlayer *player = [AVPlayer playerWithPlayerItem:playerItem];

创建视频的过渡效果

上面的AVComposition是以资源轨道为单位的对不同媒体资源进行组合，然后对于音频和视频还有更进一步的细分，这也为创建更多视频效果提供了方便。下面先说对于视频的组合。
以视频添加过渡效果为例，还记得上面说的两个视频，不能重叠在一起播放的问题吗？这里就以这个为例。不过需要先引入一些概念。

视频组合类.png

• AVVideoComposition，视频组合类，类似上面的AVComposition概念，不过这里是对一个媒体资源中，负责所有视频资源组合关系的一个类，跟AVComposition是一点关系都没有。这个类除了可以包含视频组合信息之外，还能配置视频的渲染尺寸，缩放，和帧时长等属性。
• AVVideoCompositionInstruction,AVVideoCompostion是由一组AVVideoCompositionInstruction对象格式定义的指令组成的。这个对象提供的最关键的信息是组合对象时间轴内的时间范围信息，其实就是表明这个视频组合的开始时间和持续时间。要执行的组合特质是通过AVVideoCompositionLayerInstruction
• AVVideoCompositionLayerInstruction，用于定义给定视频轨道应用的模糊，变形和裁剪效果。
  PS:AVVideoComposition并不直接与AVCompostion相关，相反看上面视频组合类.png，这些对象是和类似AVPlayItem等客户端相关联，在播放组合或进行其他处理时使用这些对象。

下面的例子，其实我们可以对于每一段AVVideoCompositionInstrction都自行定义，但是有更简便的方法，为何不用呢？

    AVMutableVideoComposition *videoCompostion = [AVMutableVideoComposition videoCompositionWithPropertiesOfAsset:composition];

当你使用这段代码的时候，会自动生成一个默认的AVVideoComposition，并且会自动生成默认的AVVideoCompositionInstruction，AVVideoCompostionLayerInstruction。那么它这个自动生成的规则是怎么样的呢？多尝试几次不一样的视频组合，不难发现：

• 在时间轴延伸的方向，只要某一时刻的视频组合数量发生变化，那么就会产生一个新的AVVideoCompositionInstruction对象

例如：现在有三个视频轨道，A，B，C（有数字的时刻代表视频在该时间段有内容，#代表空）
轨道A：1 2 3 4 5 6 7 8 9
轨道B：1 2 3 # # # # # #
轨道C：1 2 3 4 5 6 # # #

• 轨道A，B，C在1~3s内都是有内容的，因此这会生成第一个AVVideoCompositionInstruction
• 轨道A，C在3~6s内有内容，由于这个时间段内，视频组合数量发生了改变，因此这里是第二个AVVideoCompositionInstruction
• 最后在6-9s，只有轨道A有视频，因此这里是第三个AVVideoCompositionInstruction

在我们生成了AVVideoCompositionInstruction之后，我们需要对里面的AVVideoCompositionLayerInstruction进行自定义，具体这个过渡效果要什么样子，靠你自己组合视频的数量，以及改变视频的模糊，变形和裁剪效果，这里就不一一实现了。

以上面3个轨道例子中的第3-6s作为演示
最终的效果是轨道A在3-6s播放的时候会渐渐模糊
    AVMutableVideoComposition *videoCompostion = [AVMutableVideoComposition videoCompositionWithPropertiesOfAsset:composition];
    
    for (AVMutableVideoCompositionInstruction *vci in videoCompostion.instructions) {
        if (vci.layerInstructions.count == 2) {
            AVMutableVideoCompositionLayerInstruction *fromLayerInstruction = (AVMutableVideoCompositionLayerInstruction *)vci.layerInstructions.firstObject;
//            AVVideoCompositionLayerInstruction *toLayerInstruction = vci.layerInstructions.firstObject;
            
            CMTimeRange timeRange = vci.timeRange;
            
            //渐变效果
            [fromLayerInstruction setOpacityRampFromStartOpacity:1.0 toEndOpacity:0 timeRange:timeRange];
            
        }
    }

动画图层内容