回顾
在上一篇GPUImage详细解析（八）视频合并混音介绍了如何使用GPUImage进行视频的合并，以及混音。这次使用AVFoundation框架来实现这个功能。
概念
-
AVPlayer视频播放类，本身不显示视频，需创建一个AVPlayerLayer层，添加到视图 -
AVAssetTrack资源轨道，包括音频轨道和视频轨道 -
AVAsset媒体信息 -
AVURLAsset根据URL路径创建的媒体信息 -
AVPlayerItem媒体资源管理对象，管理视频的基本信息和状态 -
AVMutableVideoCompositionInstruction视频操作指令 -
AVMutableVideoCompositionLayerInstruction视频轨道操作指令，需要添加到AVMutableVideoCompositionInstruction -
AVMutableAudioMixInputParameters音频操作参数 -
AVMutableComposition包含多个轨道的媒体信息，可以添加、删除轨道 -
AVMutableVideoComposition视频操作指令集合
效果
视频效果如下，音频效果可运行demo。
核心思路
分别加载多个AVURLAsset，用GCD保证异步加载完成后回调，调用Editor类配置轨道信息、视频操作指令和音频指令参数。
具体细节
流程图如下
a、配置轨道信息
- 1，计算变化的长度，确保变换的长度不大于最小的视频的长度的一半；
思考1：demo中是如何计算小于一半，为何要小于一半？
- 2，添加两个视频轨道，两个音频轨道；
- 3，在视频索引对应的轨道（%2），插入视频轨道信息和音频轨道信息；
思考2：当多个视频在同一个音轨插入多个信息，如何保证不重叠？
- 4，计算直接播放和变换的时间；
// 确保最后合并后的视频，变换长度不会超过最小长度的一半
CMTime transitionDuration = self.transitionDuration;
for (i = 0; i < clipsCount; i++ ) {
NSValue *clipTimeRange = [self.clipTimeRanges objectAtIndex:i];
if (clipTimeRange) {
CMTime halfClipDuration = [clipTimeRange CMTimeRangeValue].duration;
halfClipDuration.timescale *= 2;
transitionDuration = CMTimeMinimum(transitionDuration, halfClipDuration);
}
}
AVMutableCompositionTrack *compositionVideoTracks[2];
AVMutableCompositionTrack *compositionAudioTracks[2];
compositionVideoTracks[0] = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加视频轨道0
compositionVideoTracks[1] = [composition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加视频轨道1
compositionAudioTracks[0] = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加音频轨道0
compositionAudioTracks[1] = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid]; // 添加音频轨道1
b、配置视频操作指令
- 1，新建视频操作指令集合；
- 2，根据视频所在对应的轨道（%2），新建视频操作指令passThroughInstruction，长度为passThroughTimeRanges，同时定义passThroughLayer直接播放的视频轨道操作指令，并设置passThroughLayer为passThroughInstruction的视频轨道操作指令集合；
- 3，根据视频所在对应轨道，新建视频操作指令transitionInstruction，长度为transitionTimeRanges，同时根据轨道定义视频轨道操作指令fromLayer和toLayer，并设置fromLayer和toLayer的变换方式与时间；
- 4，把passThroughInstruction和transitionInstruction添加到视频指令集合；
AVMutableVideoCompositionInstruction *passThroughInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction]; // 新建指令
passThroughInstruction.timeRange = passThroughTimeRanges[i]; // 直接播放
AVMutableVideoCompositionLayerInstruction *passThroughLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTracks[alternatingIndex]]; // 视频轨道操作指令
passThroughInstruction.layerInstructions = [NSArray arrayWithObject:passThroughLayer];
[instructions addObject:passThroughInstruction]; // 添加到指令集合
if (i+1 < clipsCount) { // 不是最后一个
AVMutableVideoCompositionInstruction *transitionInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction]; // 新建指令
transitionInstruction.timeRange = transitionTimeRanges[i]; // 变换时间
AVMutableVideoCompositionLayerInstruction *fromLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTracks[alternatingIndex]]; // 视频轨道操作指令
AVMutableVideoCompositionLayerInstruction *toLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:compositionVideoTracks[1-alternatingIndex]]; // 新的轨道指令
// 1 dao 0
[fromLayer setOpacityRampFromStartOpacity:1.0 toEndOpacity:0.0 timeRange:transitionTimeRanges[i]];
// 目的轨道，从0到1
[toLayer setOpacityRampFromStartOpacity:0.0 toEndOpacity:1.0 timeRange:transitionTimeRanges[i]];
transitionInstruction.layerInstructions = [NSArray arrayWithObjects:toLayer, fromLayer, nil];
[instructions addObject:transitionInstruction];
}
c、配置音频轨道参数
- 1，新建音频轨道参数集合；
- 2，根据视频所在索引，新建当前音轨的参数trackMix1，设置变换时间内音量从1.0到0.0；
- 3，根据视频所在索引，新建另外一条音轨的参数trackMix2，设置变换时间内音量从0.0到1.0；设置直接播放时间内音量一直为1.0；
- 4，把参数trackMix1和trackMix2添加到音频轨道参数集合；
AVMutableAudioMixInputParameters *trackMix1 = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:compositionAudioTracks[alternatingIndex]]; // 音轨0的参数
[trackMix1 setVolumeRampFromStartVolume:1.0 toEndVolume:0.0 timeRange:transitionTimeRanges[i]]; // 音轨0，变换期间音量从1.0到0.0
[trackMixArray addObject:trackMix1];
AVMutableAudioMixInputParameters *trackMix2 = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:compositionAudioTracks[1 - alternatingIndex]]; // 音轨1的参数
[trackMix2 setVolumeRampFromStartVolume:0.0 toEndVolume:1.0 timeRange:transitionTimeRanges[i]]; // 变换期间音量从0.0到1.0
[trackMixArray addObject:trackMix2];
总结
AVPlayer通过KVO监听rate属性，status属性，用notification来监听播放完成；
AVPlayer和AVPlayerItem的使用不复杂，解析集中在SimpleEditor类如何配置轨道信息和音视频操作指令。
代码地址可以点这里。
思考
思考1
通过timescale*2，再用CMTimeMinimum；处于中间的视频要经历两次变换，故而变换的长度不能大于最小视频长度的一半；
思考2
音轨插入的函数有开始点和持续时间，只要保证区间不重叠，音频就不会重叠；