iOS 视频捕捉UIImagePickerController和AVFoundation

UIImagePickerController

目前，将视频捕获集成到你的应用中的最简单的方法是使用 UIImagePickerController。这是一个封装了完整视频捕获管线和相机 UI 的 view controller。

在实例化相机之前，首先要检查设备是否支持相机录制：

if ([UIImagePickerController
       isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
    NSArray *availableMediaTypes = [UIImagePickerController
      availableMediaTypesForSourceType:UIImagePickerControllerSourceTypeCamera];
    if ([availableMediaTypes containsObject:(NSString *)kUTTypeMovie]) {
        // 支持视频录制
    }
}

然后创建一个 UIImagePickerController 对象，设置好代理便于进一步处理录制好的视频 (比如存到相册) 以及对于用户关闭相机作出响应：

UIImagePickerController *camera = [UIImagePickerController new];
camera.sourceType = UIImagePickerControllerSourceTypeCamera;
camera.mediaTypes = @[(NSString *)kUTTypeMovie];
camera.delegate = self;

typedef NS_ENUM(NSInteger, UIImagePickerControllerSourceType) {
    UIImagePickerControllerSourceTypePhotoLibrary,
    UIImagePickerControllerSourceTypeCamera,
    UIImagePickerControllerSourceTypeSavedPhotosAlbum
} __TVOS_PROHIBITED

mediaTypes 对应的是 音频：kUTTypeAudio 视频：kUTTypeVideo 音视频 ：kUTTypeMovie 图片照片：kUTTypeImage

//编码质量
[camera setVideoQuality:UIImagePickerControllerQualityTypeIFrame1280x720];
//默认开启的摄像头
[camera setCameraDevice:UIImagePickerControllerCameraDeviceFront];

最后 ，当用户操作，选择/拍摄完以后的回调

#pragma mark - UIImagePickerControllerDelegate methods

- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary *)info
{
    ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];
    NSURL *recordedVideoURL= [info objectForKey:UIImagePickerControllerMediaURL];
    if ([library videoAtPathIsCompatibleWithSavedPhotosAlbum:recordedVideoURL]) {
        [library writeVideoAtPathToSavedPhotosAlbum:recordedVideoURL
                                    completionBlock:^(NSURL *assetURL, NSError *error){}
         ];
    }
    
    [picker dismissViewControllerAnimated:YES completion:nil];
}

- (void)imagePickerControllerDidCancel:(UIImagePickerController *)picker
{
    [picker dismissViewControllerAnimated:YES completion:nil];
}

扩展 － 自定义UIImagePickerController UI

UIView *cameraOverlay = [[UIView alloc] init];
picker.showsCameraControls = NO;
picker.cameraOverlayView = cameraOverlay;

然后关联 开始/停止 操作

- (void)takePicture NS_AVAILABLE_IOS(3_1);                                                   
// programatically initiates still image capture. ignored if image capture is in-flight.
// clients can initiate additional captures after receiving -imagePickerController:didFinishPickingMediaWithInfo: delegate callback

- (BOOL)startVideoCapture NS_AVAILABLE_IOS(4_0);
- (void)stopVideoCapture  NS_AVAILABLE_IOS(4_0);

总结: UIImagePickerController 可以非常方便的进行浏览相册选择视频、图片 ；也可以自己拍摄视频、照片 。系统提供了常用的功能以及通用的UI 。同时，也正是因为系统的同意方便，限制了对于功能、界面的自定义 。

--

AVFoundation

提供了基于 AVCaptureSession 的很对操作硬件层面的接口。

111

AVCaptureSession 做为音频 \ 视频输入 和 文件输出的桥梁 。在中间传输媒体数据流 。

那么根据流程图 我们的初始化代码创建就是这样的

AVCaptureSession *captureSession = [AVCaptureSession new];
AVCaptureDeviceInput *cameraDeviceInput = …
AVCaptureDeviceInput *micDeviceInput = …
AVCaptureMovieFileOutput *movieFileOutput = …
if ([captureSession canAddInput:cameraDeviceInput]) {
    [captureSession addInput:cameraDeviceInput];
}
if ([captureSession canAddInput:micDeviceInput]) {
    [captureSession addInput:micDeviceInput];
}
if ([captureSession canAddOutput:movieFileOutput]) {
    [captureSession addOutput:movieFileOutput];
}

[captureSession startRunning];

需要注意:

• AVCaptureDeviceInput 在添加进入 Session之前 ，需要验证是否可以添加 。

  @discussion
  An AVCaptureInput instance can only be added to     a session using -addInput: if
  canAddInput: returns YES.
  */
  - (BOOL)canAddInput:(AVCaptureInput *)input;
  

• 所有对 capture session 的调用都是阻塞的，因此建议将它们分配到后台串行队列中

```
_sessionQueue = dispatch_queue_create( "com.example.capturepipeline.session", DISPATCH_QUEUE_SERIAL );

//具体操作captureSession的时候就使用后台同步队列
- (void)startRunning

{
dispatch_sync( _sessionQueue, ^{
[_captureSession startRunning];
} );
}

```

tip: 同步队列 中加载 异步任务 ，异步任务会 遵循先进先出的原则，挨个执行 。同时，系统只会创建一个子线程 。所有的任务逐个执行。 如果加入的是同步任务 ，就不会开线程，只会在主线程中执行。

输入设置－配置音视频质量相关参数

• 如果只是简单的需求 ，不需要那么精确的控制输出质量

  @discussion
  The value of this property is an NSString (one of AVCaptureSessionPreset*) indicating 
  the current session preset in use by the receiver.  The sessionPreset property may be set 
  while the receiver is running.
  

*/
@property(nonatomic, copy) NSString *sessionPreset;
```
只需要通过这个函数 ，设置系统提供的等级配置即可

```
NSString *const  AVCaptureSessionPresetPhoto;
NSString *const  AVCaptureSessionPresetHigh;
NSString *const  AVCaptureSessionPresetMedium;
NSString *const  AVCaptureSessionPresetLow;
NSString *const  AVCaptureSessionPreset352x288;
NSString *const  AVCaptureSessionPreset640x480;
NSString *const  AVCaptureSessionPreset1280x720;
NSString *const  AVCaptureSessionPreset1920x1080;
NSString *const  AVCaptureSessionPresetiFrame960x540;
NSString *const  AVCaptureSessionPresetiFrame1280x720;
NSString *const  AVCaptureSessionPresetInputPriority;
```

• 精确控制 帧率、对焦、曝光

  对于AVCaptureDevice 可以完成对 帧率范围 ，曝光 ，对焦 ，白平衡等的设置 。

  // 官方示例代码 ：
  //针对不同的硬件 ，支持的是不同的 ，所以我们需要查询，然后选择合适的 。

  - (void)configureCameraForHighestFrameRate:(AVCaptureDevice *)device
  

{
AVCaptureDeviceFormat *bestFormat = nil;
AVFrameRateRange *bestFrameRateRange = nil;
for ( AVCaptureDeviceFormat *format in [device formats] ) {
for ( AVFrameRateRange *range in format.videoSupportedFrameRateRanges ) {
if ( range.maxFrameRate > bestFrameRateRange.maxFrameRate ) {
bestFormat = format;
bestFrameRateRange = range;
}
}
}
if ( bestFormat ) {
if ( [device lockForConfiguration:NULL] == YES ) {
device.activeFormat = bestFormat;
device.activeVideoMinFrameDuration = bestFrameRateRange.minFrameDuration;
device.activeVideoMaxFrameDuration = bestFrameRateRange.minFrameDuration;
[device unlockForConfiguration];
}
}
}
```

对于 硬件设置以后另开一个单独写 。

• 光学防抖 AVCaptureConnection

  视频防抖 是在 iOS 6 和 iPhone 4S 发布时引入的功能。到了 iPhone 6，增加了更强劲和流畅的防抖模式，被称为影院级的视频防抖动。防抖并不是在捕获设备上配置的，而是在 AVCaptureConnection 上设置。由于不是所有的设备格式都支持全部的防抖模式，所以在实际应用中应事先确认具体的防抖模式是否支持

    AVCaptureDevice *device = ...;
    AVCaptureConnection *connection = ...;

    AVCaptureVideoStabilizationMode stabilizationMode = AVCaptureVideoStabilizationModeCinematic;
if ([device.activeFormat isVideoStabilizationModeSupported:stabilizationMode]) {
    [connection setPreferredVideoStabilizationMode:stabilizationMode];
}

    ```     
    
- HDR       
iPhone 6 的另一个新特性就是视频 HDR (高动态范围图像)

    有两种方法可以配置视频 HDR：直接将 capture device 的 videoHDREnabled 设置为启用或禁用，或者使用 automaticallyAdjustsVideoHDREnabled 属性来留给系统处理。       
    
    

####硬件访问权限      
当用户未授权时，对于录制视频或音频的尝试，得到的将是黑色画面和无声。

• (void)requestAccessForMediaType:(NSString *)mediaType completionHandler:(void (^)(BOOL granted))handler NS_AVAILABLE_IOS(7_0);

//The media type, either AVMediaTypeVideo or AVMediaTypeAudio

####输出设置        
分为两种 ：      

- 基于文件的 AVCaptureMovieFileOutput 

    编码录制的时候 ，收到的回调 都是基于文件的 ，返回存放文件url。不能对CMSampleBufferRef操作 
    
- 另一种是基于流数据的AVCaptureVideoDataOutput和AVCaptureAudioDataOutput       

    这些输出将会各自捕获视频和音频的样本缓存，接着发送到它们的代理。代理要么对采样缓冲进行处理 (比如给视频加滤镜)，要么保持原样传送       
    
    
#####AVCaptureMovieFileOutput       

- 1、指定编码文件保存地址      

    ```
    - (void)startRecordingToOutputFileURL:(NSURL*)outputFileURL recordingDelegate:(id)delegate;
    ```
- 2、编码开始回调      

- (void)captureOutput:(AVCaptureFileOutput *)captureOutput didStartRecordingToOutputFileAtURL:(NSURL *)fileURL fromConnections:(NSArray *)connections;

```     

• 3、编码结束回调

  - (void)captureOutput:(AVCaptureFileOutput *)captureOutput didFinishRecordingToOutputFileAtURL:(NSURL *)outputFileURL fromConnections:(NSArray *)connections error:(NSError *)error;
  
  

AVAssetWriter 直接操作数据流

AVAssetWriter

• 1、创建AVCaptureAudioDataOutput 和 AVCaptureVideoDataOutput

  设置好代理 [_videoDataOutput setSampleBufferDelegate:self queue:_videoDataOutputQueue];

• 2、准备开始编码

  配置AVAssetWriterInput （音频和视频分别）设置输出参数配置

  if ( [_assetWriter canApplyOutputSettings:audioSettings forMediaType:AVMediaTypeAudio] ){
      _audioInput = [[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeAudio outputSettings:audioSettings sourceFormatHint:audioFormatDescription];
  

• 3、开始编码

  [_assetWriter startWriting]

• 4、编码流回调函数

  - (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection;

  这个函数是音频和视频共用的 。在这里处理CMSampleBufferRef的时候，需要注意区分 。

  至此，我们就可以拿到实时的编码流 ，在这里可以进行后续的处理 ，比如添加滤镜等 。

• 最后一步，写入

  [input appendSampleBuffer:sampleBuffer]

补充

AVAssetWriterInput 也可以做输出的配置工作 。那么需要提供一个包含具体输出参数的字典。关于音频输出设置的键值被定义在这里, 关于视频输出设置的键值定义在这里

还有一种方法可以直接生成复合当前输出配置 ，带有所有参数的字典的方法 。

_videoCompressionSettings = [_videoDataOutput recommendedVideoSettingsForAssetWriterWithOutputFileType:AVFileTypeQuickTimeMovie];
_audioCompressionSettings = [_audioDataOutput recommendedAudioSettingsForAssetWriterWithOutputFileType:AVFileTypeQuickTimeMovie];