AVFoundation视频编辑

编辑

AVFoundation支持视频的编辑和导出。

使用AVAssetExportSession进行简单的编辑

AVAssetExportSession可以将特定AVAsset中的内容导出到磁盘中。看一段最简单的导出代码。

//载入视频源
NSURL *url = [[NSBundle mainBundle] URLForResource:@"ElephantSeals" withExtension:@"mov"];
    AVAsset *videoAsset = [AVAsset assetWithURL:url];
//导出
AVAssetExportSession *exporter = [[AVAssetExportSession alloc] initWithAsset:videoAsset presetName:AVAssetExportPresetHighestQuality];
NSString *outputPath = [NSString stringWithFormat:@"%@/tmp/test.%@", NSHomeDirectory(),CFBridgingRelease(UTTypeCopyPreferredTagWithClass((CFStringRef)AVFileTypeQuickTimeMovie, kUTTagClassFilenameExtension))];
NSURL *outputUrl = [NSURL fileURLWithPath:outputPath];
if ([[NSFileManager defaultManager] fileExistsAtPath:outputPath]) {
    [[NSFileManager defaultManager] removeItemAtURL:outputUrl error:nil];
}
NSLog(@"输出至: %@", outputUrl);
//设置输出路径
exporter.outputURL = outputUrl;
//设置输出文件类型
exporter.outputFileType = AVFileTypeQuickTimeMovie;
[exporter exportAsynchronouslyWithCompletionHandler:^{
    NSLog(@"status: %ld; error: %@;", (long)exporter.status, exporter.error);
}];

timeRange

以上的代码完成了视频导出导出磁盘，AVAssetExportSession有一个属性timeRange的，在以上的代码中如果加入

exporter.timeRange = exporter.timeRange = CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1));

导出的视频就是原视频的前两秒。

这样的裁剪只是将视频的一部分导出，这似乎不能算是一个完全的视频编辑。这样的功能似乎不能使我们满意

使用AVComposition

视频编辑的过程是将已有视频文件中的视频流数据和音频流数据拼合到一个新的容器中，然后导出。AVFoundation中，AVAsset就是这样一个扮演容器的角色，但是AVAsset的设计并不是为了修改视频和音频数据。这里要使用到一个子类AVComposition。

AVComposition是继承自AVAsset的一个子类，根据苹果命名API的习惯推测，应该还有一个可编辑的子类。那就是AVMutableComposition。

开始前的准备工作

为了使用AVMutableComposition。首先创建一个工具方法。

- (void)exportAvasset:(AVAsset *)asset
{
    //导出
    AVAssetExportSession *exporter = [[AVAssetExportSession alloc] initWithAsset:asset presetName:AVAssetExportPresetHighestQuality];
    NSString *outputPath = [NSString stringWithFormat:@"%@/tmp/test.%@", NSHomeDirectory(),CFBridgingRelease(UTTypeCopyPreferredTagWithClass((CFStringRef)AVFileTypeQuickTimeMovie, kUTTagClassFilenameExtension))];
    NSURL *outputUrl = [NSURL fileURLWithPath:outputPath];
    if ([[NSFileManager defaultManager] fileExistsAtPath:outputPath]) {
        [[NSFileManager defaultManager] removeItemAtURL:outputUrl error:nil];
    }
    NSLog(@"输出至: %@", outputUrl);
    exporter.outputURL = outputUrl;
    exporter.outputFileType = AVFileTypeQuickTimeMovie;
    [exporter exportAsynchronouslyWithCompletionHandler:^{
        NSLog(@"status: %ld; error: %@;", (long)exporter.status, exporter.error);
    }];
}

接下来，还需要一个包含视频流数据和音频数据的集合对象，并且将其中的视频流数据和音频数据提去出来。

/** 载入视频源 */
    NSURL *url = [[NSBundle mainBundle] URLForResource:@"ElephantSeals" withExtension:@"mov"];
    AVAsset *videoAsset = [AVAsset assetWithURL:url];
AVAssetTrack *videoTrack = [[videoAsset tracksWithMediaType:AVMediaTypeVideo] firstObject];
    AVAssetTrack *audioTrack = [[videoAsset tracksWithMediaType:AVMediaTypeAudio] firstObject];
这个方法将一个AVAsset对象导出到沙盒tmp文件夹下，并命名为test.mov。

这个是我工程中的一个视频文件，时长为7秒。

创建导出的视频源

/** 创建待输出的视频源 */
    AVMutableComposition *mutableComposition = [AVMutableComposition composition];

AVComposition继承自AVAsset，本身就是视频流和音频流的一个集合，AVMutableComposition就是一个视频流和音频流都可以编辑的集合。使用addMutableTrackWithMediaType方法可以向AVMutableComposition中添加一个视频流
如下

/** 向待输出的视频源添加视频流*/
    AVMutableCompositionTrack *videoCompositionTrack = [mutableComposition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];

此处添加的是一条视频流track。当然这条track里面什么也没有，只是一个可以编辑的track。接下来就要提取已有视频的track插入到其中。

/** 将提取出的视频流插入到待输出的视频流上 */
    [videoCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1)) ofTrack:videoAssetTrack atTime:CMTimeMake(2, 1) error:nil];

通过导出文件的方法导出文件

    [self exportAvasset:mutableComposition];

这一句代码将提取的视频数据插入到了从两秒开始，也就将要导出的视频变成了4秒，前两秒是空白啥也没有。但是你发现这个文件没有声音。因为我们还没有插入音频数据。

插入音频数据

插入音频的过程和插入视频类似

AVMutableCompositionTrack *audioCompositionTrack = [mutableComposition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
    [audioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1)) ofTrack:audioTrack atTime:kCMTimeZero error:nil];

这一段将准备好的音频流的前两秒插到了开头。将导出方法移动到最后，导出文件，可以发现导出的视频文件里面有了声音，但是只前两秒。

有了上面两种编辑功能，视频的拼接已经可以实现了。但是AVFoundation能做的还不止这些。

AVMutableVideoComposition和AVMutableAudioMix

回到导出方法中的AVAssetExportSession，AVAssetExportSession还有两个属性

@property (nonatomic, copy, nullable) AVAudioMix *audioMix;
@property (nonatomic, copy, nullable) AVVideoComposition *videoComposition;

使用AVMutableVideoComposition控制视频

将导出方法改成下面的样子。

- (void)exportAvasset:(AVAsset *)asset videoComposition:(AVVideoComposition *)videoComposition

并在方法内部添加

    exporter.videoComposition = videoComposition;

接下来创建AVMutableVideoComposition并导出

/** 创建视频流输出控制 */
    AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoComposition];
    videoComposition.renderSize = videoAssetTrack.naturalSize;
    videoComposition.frameDuration = CMTimeMake(1, 30);

运行发现，这样是不可以的，还需要AVMutableVideoCompositionInstruction

    /** 创建视频流命令控制器 */
    AVMutableVideoCompositionInstruction *mutableVideoCompositionInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
    /** 设置视频流命令控制器有效时间区域 */
    mutableVideoCompositionInstruction.timeRange = CMTimeRangeMake(kCMTimeZero, mutableComposition.duration);
mutableVideoCompositionInstruction.backgroundColor = [UIColor redColor].CGColor;
    videoComposition.instructions = @[mutableVideoCompositionInstruction];

导出文件后会发现，导出的视频在本来空白的地方多了一个红色的背景。然而也发生一个严重的问题，视频图像不见了！！！而且无论你怎么设置mutableVideoCompositionInstruction.timeRange都无济于事！！！导出的视频只有一个有声音的红色图像！！！
查看一遍头文件，你会发现这一句

/* Provides an array of instances of AVVideoCompositionLayerInstruction that specify how video frames from source tracks should be layered and composed.
   Tracks are layered in the composition according to the top-to-bottom order of the layerInstructions array; the track with trackID of the first instruction
   in the array will be layered on top, with the track with the trackID of the second instruction immediately underneath, etc.
   If this key is nil, the output will be a fill of the background color. */
@property (nonatomic, copy) NSArray *layerInstructions;

似乎一下在找到了希望，那就赶紧设置AVVideoCompositionLayerInstruction试试，当然我们使用的还是它的mutable的子类

    /** 设置视频流命令控制器图层控制命令（操作待输出视频源的视频流） */
    AVMutableVideoCompositionLayerInstruction *passThroughLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:[mutableComposition tracksWithMediaType:AVMediaTypeVideo][0]];

 /** 设置命令 */
    videoComposition.instructions = @[mutableVideoCompositionInstruction];

导出文件你会发现，视频出来了，而且长度也是4秒，前面的空白也是红色。
不过这样看起来，貌似也没什么，除了比开始的代码多了一个红色的空白背景，也没什么特别的嘛，而且黑色的背景可能还更好看呢。那么继续往下设置。

    [passThroughLayer setTransform:CGAffineTransformMakeTranslation(0, 250) atTime:CMTimeMake(2, 1)];
    [passThroughLayer setTransform:CGAffineTransformMakeTranslation(0, 500) atTime:CMTimeMake(3, 1)];

导出以后，画面在设置的时间点，发生了偏移，继续设置

    [passThroughLayer setOpacityRampFromStartOpacity:0.5 toEndOpacity:1 timeRange:CMTimeRangeMake(CMTimeMake(2, 1), CMTimeMake(3, 1))];

视频发生了一个透明变化的动画。

AVMutableVideoComposition除了instructions这个属性以外还有这样一个属性

/* indicates a special video composition tool for use of Core Animation; may be nil */
@property (nonatomic, retain, nullable) AVVideoCompositionCoreAnimationTool *animationTool;

官方文档中给出的是一段加水印的代码，我在这里做了点儿修改，现在加上去感受下

   /** 水印 */
    CGSize videoSize = CGSizeMake(videoTrack.naturalSize.width, videoTrack.naturalSize.height);
    CATextLayer *textLayer = [CATextLayer layer];

    textLayer.backgroundColor = [UIColor redColor].CGColor;
    textLayer.string = @"123456";
    textLayer.bounds = CGRectMake(0, 0, videoSize.width * 0.5, videoSize.height * 0.5);
    
    CALayer *baseLayer = [CALayer layer];
    [baseLayer addSublayer:textLayer];
    baseLayer.position = CGPointMake(videoComposition.renderSize.width/2, videoComposition.renderSize.height/2);
    
    CALayer *videoLayer = [CALayer layer];
    videoLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    CALayer *parentLayer = [CALayer layer];
    parentLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    
    [parentLayer addSublayer:videoLayer];
    [parentLayer addSublayer:baseLayer];
    AVVideoCompositionCoreAnimationTool *animalTool = [AVVideoCompositionCoreAnimationTool videoCompositionCoreAnimationToolWithPostProcessingAsVideoLayer:videoLayer inLayer:parentLayer];
    videoComposition.animationTool = animalTool;

有点长，导出后，画面中，出现了一个白色的123456，我自己改的代码，画面当然也是惨不忍睹，这里不做探究，我在使用过程中，发现设置这个属性，会出现导出的视频画面被斜拉的现象，最后通过调整layer的属性才把画面正过来，这里感觉有坑啊。
瞅了几遍这个类的名字，你会发现名字里面有CoreAnimation，你竟然只能打水印。这也太对不起你的名字了吧。经过我的实验，下面在加水印的后面继续添加

    CABasicAnimation *baseAnimation = [CABasicAnimation animationWithKeyPath:@"position"];
    baseAnimation.fromValue = [NSValue valueWithCGPoint:CGPointMake(100, 100)];
    baseAnimation.toValue = [NSValue valueWithCGPoint:CGPointMake(200, 200)];
    baseAnimation.repeatCount = 5;
    baseAnimation.beginTime = AVCoreAnimationBeginTimeAtZero;
    baseAnimation.duration = 1;
    baseAnimation.removedOnCompletion = NO;
    [textLayer addAnimation:baseAnimation forKey:@"hehe"];

那个水印竟然有了动画。
到这里，视频的编辑基本就告一段落了，下面是音频的编辑。

AVMutableAudioMix

我们将导出方法继续修改一下

- (void)exportAvasset:(AVAsset *)asset videoComposition:(AVVideoComposition *)videoComposition audioMix:(AVAudioMix *)audioMix

并在方法内部添加

exporter.audioMix = audioMix;

现在开始音频的编辑, AVMutableAudioMix 重要的属性只有一个inputParameters，是一个存放AVMutableAudioMixInputParameters的数组

//音频
    //音频
    AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];
    AVMutableAudioMixInputParameters *inputParameter = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:audioCompositionTrack];
    audioMix.inputParameters = @[inputParameter];
    [inputParameter setVolumeRampFromStartVolume:0 toEndVolume:1 timeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1))];

导出使用

[self exportAvasset:mutableComposition videoComposition:videoComposition audioMix:audioMix];

声音会有一个从高到低的变化过程。

*********************************遇到的问题************************************
使用AVMutableCompositionTrack的insertTimeRange方法，编辑时，会遇到如下错误。
Error Domain=AVFoundationErrorDomain Code=-11800 "The operation could not be completed" UserInfo={NSLocalizedDescription=The operation could not be completed, NSUnderlyingError=0x166833a0 {Error Domain=NSOSStatusErrorDomain Code=-12780 "(null)"}, NSLocalizedFailureReason=An unknown error occurred (-12780)}
基本这个错误都是由于数据源都是造成的，即使是在AVMutableCompositionTrack和AVAssetTrack对象都存在的情况下，也要注意AVAssetTrack所在的AVAsset是否存在。如果AVAsset被释放了，源数据都是，插入自然也是失败的。