一、捕捉功能
1、捕捉会话 AVCaptureSession
AVFoundation捕捉栈的核心类是AVCaptureSession。一个捕捉会话相当于一个虚拟的“插线板”，用于连接输入和输出的资源。
捕捉会话管理从屋里设备得到的数据流，比如摄像头和麦克风设备，输出到一个或多个目的地。可以动态配置输入和输出的线路，可以再会话进行中按需配置捕捉环境。
捕捉会话还可以额外配置一个会话预设值(session preset)，用来控制捕捉数据的格式和质量。会话预设值默认为AVCaptureSessionPresetHigh，适用于大多数情况。还有很多预设值，可以根据需求设置。
2、捕捉设备 AVCaptureDevice
AVCaptureDevice为摄像头或麦克风等物理设备定义了一个接口。对硬件设备定义了大量的控制方法，如对焦、曝光、白平衡和闪光灯等。
AVCaptureDevice定义大量类方法用用访问系统的捕捉设备，最常用的是defaultDeviceWithMediaType:，根据给定的媒体类型返回一个系统指定的默认设备
AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];请求的是一个默认的视频设备，在包含前置和后置摄像头的iOS系统，返回后置摄像头。
3、捕捉设备的输入 AVCaptureInput
AVCaptureInput是一个抽象类，提供一个连接接口将捕获到的输入源连接到AVCaptureSession。
抽象类无法直接使用，只能通过其子类满足需求：AVCaptureDeviceInput-使用该对象从AVCaptureDevice获取设备数据(摄像头、麦克风等)、AVCaptureScreenInput-通过屏幕获取数据(如录屏)、AVCaptureMetaDataInput-获取元数据
- 以 AVCaptureDeviceInput 为例
使用捕捉设备进行处理前，需要将它添加为捕捉会话的输入。通过将设备(AVCaptureDevice)封装到AVCaptureDeviceInput实例中，实现将设备插入到AVCaptureSession中。
AVCaptureDeviceInput在设备输出数据和捕捉会话间，扮演接线板的作用。
AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
NSError *error;
AVCaptureDeviceInput *input = [[AVCaptureDeviceInput alloc] initWithDevice:device error:&error];
4、捕捉的输出 AVCaptureOutput
AVCaptureOutput是一个抽象基类，用于从捕捉会话得到的数据寻找输出目的地。
框架定义一些这个基类的高级扩展类，比如
AVCaptureStillImageOutput用来捕捉静态图片，AVCaptureMovieFileOutput捕捉视频
还有一些底层扩展，如AVCaptureAudioDataOutput和AVCaptureVideoDataOutput使用它们可以直接访问硬件捕捉到的数字样本。使用底层输出类需要对捕捉设备的数据渲染有更好的理解，不过这些类可以提供更强大的功能，比如对音频和视频流进行实时处理。
5、捕捉连接 AVCaptureConnection
AVCaptureConnection 连接
捕捉会话首先确定有给定捕捉设备输入渲染的媒体类型，并自动建立其到能够接收该媒体类型的捕捉输出端的连接。
对连接的访问可以对信号流进行底层的空值，比如禁用某些特定的连接，或者再音频连接中访问单独的音频轨道(一些高级用法，不纠结)。
- 附加
AVCaptureConnection解决一个图像旋转90°的问题：(setVideoOrientation:方法)
AVCaptureConnection *stillImageConnection = [self.stillImageOutput connectionWithMediaType:AVMediaTypeVideo];
AVCaptureVideoOrientation avcaptureOrientation = [self avOrientationForDeviceOrientation:UIDeviceOrientationPortrait];
[stillImageConnection setVideoOrientation:avcaptureOrientation];
6、捕捉预览 AVCaptureVideoPreviewLayer
AVCaptureVideoPreviewLayer是一个CoreAnimation的CALayer的子类，对捕捉视频数据进行实时预览。
类似于AVPlayerLayer，不过针对摄像头捕捉的需求进行了定制。他也支持视频重力概念setVideoGravity:
- AVLayerVideoGravityResizeAspect --在承载层范围内缩放视频大小来保持视频原始宽高比，默认值，适用于大部分情况
- AVLayerVideoGravityResizeAspectFill --保留视频宽高比，通过缩放填满层的范围区域，会导致视频图片被部分裁剪。
- AVLayerVideoGravityResize --拉伸视频内容拼配承载层的范围，会导致图片扭曲，funhouse effect效应。
二、创建简单捕捉会话
当如库文件 #import
1、创建捕捉会话 AVCaptureSession，可以设置为成员变量，开始会话以及停止会话都是用到实例对象。
AVCaptureSession *session = [[AVCaptureSession alloc] init];2、创建获取捕捉设备 AVCaptureDevice
AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];3、创建捕捉输入 AVCaptureDeviceInput
NSError *error;
AVCaptureDeviceInput *input = [[AVCaptureDeviceInput alloc] initWithDevice:device error:&error];
- 4、将捕捉输入加到会话中
if ([session canAddInput:input]) {
//首先检测是否能够添加输入，直接添加可能会有crash
[session addInput:input];
}
- 5、创建一个静态图片输出
AVCaptureStillImageOutput
AVCaptureStillImageOutput *imageOutput = [[AVCaptureStillImageOutput alloc] init];
- 6、将捕捉输出添加到会话中
if ([session canAddOutput:imageOutput]) {
//检测是否可以添加输出
[session addOutput:imageOutput];
}
- 7、创建图像预览层
AVCaptureVideoPreviewLayer
AVCaptureVideoPreviewLayer *previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:session];
previewLayer.frame = self.view.frame;
[self.view.layer addSublayer:previewLayer];
- 8、开始会话
[session startRunning];
开始之前先获取设备摄像头权限。info.plist中添加Privacy - Camera Usage Description。
这里只是实现捕捉流程，梳理核心组件的关系，没有任何操作。典型的会话创建过程会更复杂，这是毋庸置疑的。当开始运行会话，视频数据流就可以再系统中传输。
三、创建一个简单的拍照视频项目
整个的逻辑依旧是上面的几步，更多的是一些新的属性设置，因为是简单项目，所以，只是实现了功能，并没有作具体的优化。怎么简单怎么来，主要是熟悉一下主要功能。
1、创建捕捉会话
项目里不只是要实现静态图片捕捉，还会有视频拍摄，所以还有视频和音频输入。
就是前面说的【创建简单会话】流程的升级版，可以同时给会话添加多个输入和多个输出，然后分别单独处理。
self.captureSession = [[AVCaptureSession alloc] init];
self.captureSession.sessionPreset = AVCaptureSessionPresetHigh;
//获取设备摄像头
AVCaptureDevice *videoDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
// 得到一个指向默认视频捕捉设备的指针。
AVCaptureDeviceInput *videoInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:error];
//将设备添加到Session之前，先封装到AVCaptureDeviceInput对象
if (videoInput) {
if ([self.captureSession canAddInput:videoInput]) {
[self.captureSession addInput:videoInput];
self.activeVideoInput = videoInput;
}
} else {
return NO ;
}
//获取设备麦克风功能
AVCaptureDevice *audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
AVCaptureDeviceInput *audioInput = [AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:error];
if (audioInput) {
if ([self.captureSession canAddInput:audioInput]) {
//对于有效的input，添加到会话并给它传递捕捉设备的输入信息
[self.captureSession addInput:audioInput];
}
} else {
return NO ;
}
//设置 静态图片输出
self.stillImageOutput = [[AVCaptureStillImageOutput alloc] init];
self.stillImageOutput.outputSettings = @{AVVideoCodecKey:AVVideoCodecJPEG};
//配置字典表示希望捕捉JPEG格式图片
if ([self.captureSession canAddOutput:self.stillImageOutput]) {
// 测试输出是否可以添加到捕捉对话，然后再添加
[self.captureSession addOutput:self.stillImageOutput];
}
//设置视频文件输出
self.movieOutput = [[AVCaptureMovieFileOutput alloc] init];
if ([self.captureSession canAddOutput:self.movieOutput]) {
[self.captureSession addOutput:self.movieOutput];
NSLog(@"add movie output success");
}
2、开始和结束会话
- (dispatch_queue_t)globalQueue {
return dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
}
//开始捕捉会话
- (void)startSession {
if (![self.captureSession isRunning]) {
dispatch_async([self globalQueue], ^{
//开始会话 同步调用会消耗一定时间，所以用异步方式在videoQueue排队调用该方法，不会阻塞主线程。
[self.captureSession startRunning];
});
}
}
//停止捕捉会话
- (void)stopSession {
if ([self.captureSession isRunning]) {
dispatch_async([self globalQueue], ^{
[self.captureSession stopRunning];
});
}
}
3、切换摄像头
切换前置和后置摄像头需要重新配置捕捉回话，可以动态重新配置AVCaptureSession，不必担心停止会话和重新启动会话带来的开销。
对会话进行的任何改变，都要通beginConfiguration和commitConfiguration，进行单独的、原子性的变化。
- (BOOL)switchCameras { //验证是否有可切换的摄像头
if (![self canSwitchCameras]) {
return NO;
}
NSError *error;
AVCaptureDevice *videoDevice = [self inactiveCamera];
AVCaptureDeviceInput *videoInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:&error];
if (videoInput) {
[self.captureSession beginConfiguration];
// 标注源自配置变化的开始
[self.captureSession removeInput:self.activeVideoInput];
if ([self.captureSession canAddInput:videoInput]) {
[self.captureSession addInput:videoInput];
self.activeVideoInput = videoInput;
} else if (self.activeVideoInput) {
[self.captureSession addInput:self.activeVideoInput];
}
[self.captureSession commitConfiguration];
} else {
[self.delegate deviceConfigurationFailedWithError:error];
return NO;
}
return YES;
}
// 返回指定位置的AVCaptureDevice 有效位置为 AVCaptureDevicePositionFront 和AVCaptureDevicePositionBack，遍历可用视频设备，并返回position参数对应的值
- (AVCaptureDevice *)cameraWithPosition:(AVCaptureDevicePosition)position {
NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
for (AVCaptureDevice *device in devices) {
if (device.position == position) {
return device;
}
}
return nil;
}
// 当前捕捉会话对应的摄像头，返回激活的捕捉设备输入的device属性
- (AVCaptureDevice *)activeCamera {
return self.activeVideoInput.device;
}
// 返回当前未激活摄像头
- (AVCaptureDevice *)inactiveCamera {
AVCaptureDevice *device = nil;
if (self.cameraCount > 1) {
if ([self activeCamera].position == AVCaptureDevicePositionBack) {
device = [self cameraWithPosition:AVCaptureDevicePositionFront];
} else {
device = [self cameraWithPosition:AVCaptureDevicePositionBack];
}
}
return device;
}
- (BOOL)canSwitchCameras {
return self.cameraCount > 1;
}
// 返回可用视频捕捉设备的数量
- (NSUInteger)cameraCount {
return [[AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo] count];
}
4、捕获静态图片
AVCaptureConnection，当创建一个会话并添加捕捉设备输入和捕捉输出时，会话自动建立输入和输出的链接，按需选择信号流线路。访问这些连接，可以更好地对发送到输出端的数据进行控制。
CMSampleBuffer是有CoreMedia框架定义的CoreFoundation对象。可以用来保存捕捉到的图片数据。图片格式根据输出对象设定的格式决定。
- (void)captureStillImage {
NSLog(@"still Image");
AVCaptureConnection *connection = [self.stillImageOutput connectionWithMediaType:AVMediaTypeVideo];
if (connection.isVideoOrientationSupported) {
connection.videoOrientation = [self currentVideoOrientation];
}
id handler = ^(CMSampleBufferRef sampleBuffer,NSError *error) {
if (sampleBuffer != NULL) {
NSData *imageData = [AVCaptureStillImageOutput jpegStillImageNSDataRepresentation:sampleBuffer];
UIImage *image = [UIImage imageWithData:imageData];
//这就得到了拍摄到的图片，可以做响应处理。
} else {
NSLog(@"NULL sampleBuffer :%@",[error localizedDescription]);
}
};
[self.stillImageOutput captureStillImageAsynchronouslyFromConnection:connection completionHandler:handler];
}
处理图片方向问题。
- (AVCaptureVideoOrientation)currentVideoOrientation {
AVCaptureVideoOrientation orientation;
switch ([[UIDevice currentDevice] orientation]) {
case UIDeviceOrientationPortrait:
orientation = AVCaptureVideoOrientationPortrait;
break;
case UIDeviceOrientationLandscapeRight:
orientation = AVCaptureVideoOrientationLandscapeLeft;
break;
case UIDeviceOrientationPortraitUpsideDown:
orientation = AVCaptureVideoOrientationPortraitUpsideDown;
break;
default:
orientation = AVCaptureVideoOrientationLandscapeRight;
break;
}
return orientation;
}
5、录制视频
视频内容捕捉，设置捕捉会话，添加名为AVCaptureMovieFileOutput的输出。将QuickTime影片捕捉大磁盘，这个类的大多数核心功能继承与超类AVCaptureFileOutput。
通常当QuickTime应聘准备发布时，影片头的元数据处于文件的开始位置，有利于视频播放器快速读取头包含的信息。录制的过程中，知道所有的样本都完成捕捉后才能创建信息头。
- (void)startRecording {
if (![self isRecording]) {
AVCaptureConnection *videoConnection = [self.movieOutput connectionWithMediaType:AVMediaTypeVideo];
if ([videoConnection isVideoOrientationSupported]) {
videoConnection.videoOrientation = [self currentVideoOrientation];
}
if ([videoConnection isVideoStabilizationSupported]) {
videoConnection.preferredVideoStabilizationMode = YES;
}
//如果支持preferredVideoStabilizationMode，设置为YES。支持视频稳定可以显著提升捕捉到的视频质量。
// 只在录制视频文件时才会涉及。
AVCaptureDevice *device = [self activeCamera];
if (device.isSmoothAutoFocusEnabled) {
NSError *error;
if ([device lockForConfiguration:&error]) {
device.smoothAutoFocusEnabled = YES;
[device unlockForConfiguration];
} else {
[self.delegate deviceConfigurationFailedWithError:error];
}
//摄像头可以进行平滑对焦模式的操作，减慢摄像头镜头对焦的速度。
//通常情况下，用户移动拍摄时摄像头会尝试快速自动对焦，这会在捕捉视频中出现脉冲式效果。
//当平滑对焦时，会较低对焦操作的速率，从而提供更加自然的视频录制效果。
}
self.outputURL = [self uniqueURL];
NSLog(@"url %@",self.outputURL);
[self.movieOutput startRecordingToOutputFileURL:self.outputURL recordingDelegate:self];
// 查找写入捕捉视频的唯一文件系统URL。保持对地址的强引用，这个地址在后面处理视频时会用到
// 添加代理，处理回调结果。
}
}
// 获取录制时间
- (CMTime)recordedDuration {
return self.movieOutput.recordedDuration;
}
// 设置存储路径
- (NSURL *)uniqueURL {
NSFileManager *fileManager = [NSFileManager defaultManager];
NSString *directionPath = [[NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) firstObject] stringByAppendingPathComponent:@"camera_movie"];
NSLog(@"unique url ：%@",directionPath);
if (![fileManager fileExistsAtPath:directionPath]) {
[fileManager createDirectoryAtPath:directionPath withIntermediateDirectories:YES attributes:nil error:nil];
}
NSString *filePath = [directionPath stringByAppendingPathComponent:@"camera_movie.mov"];
if ([fileManager fileExistsAtPath:filePath]) {
[fileManager removeItemAtPath:filePath error:nil];
}
return [NSURL fileURLWithPath:filePath];
return nil;
}
// 停止录制
- (void)stopRecording {
if ([self isRecording]) {
[self.movieOutput stopRecording];
}
}
// 验证录制状态
- (BOOL)isRecording {
return self.movieOutput.isRecording;
}
代理回调，拿到录制视频的地址。
#pragma mark -- AVCaptureFileOutputRecordingDelegate
// 录制完成
- (void)captureOutput:(AVCaptureFileOutput *)output didFinishRecordingToOutputFileAtURL:(NSURL *)outputFileURL fromConnections:(NSArray *)connections error:(NSError *)error
{
NSLog(@"capture output");
if (error) {
NSLog(@"record error :%@",error);
[self.delegate mediaCaptureFailedWithError:error];
} else {
// 没有错误的话在存储响应的路径下已经完成视频录制，可以通过url访问该文件。
}
self.outputURL = nil;
}
6、将图片和视频保存到相册
将拍摄到的图片和视频可以通过这个系统库保存到相册。
不过AssetsLibrary在iOS9.0之后就被弃用了，可以使用从iOS8.0支持的Photos/Photos.h库来实现图片和视频的保存。
- (void)writeImageToAssetsLibrary:(UIImage *)image {
ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];
[library writeImageToSavedPhotosAlbum:image.CGImage orientation:(NSInteger)image.imageOrientation completionBlock:^(NSURL *assetURL, NSError *error) {
if (!error) {
} else {
NSLog(@"Error :%@",[error localizedDescription]);
}
}];
}
- (void)writeVideoToAssetsLibrary:(NSURL *)videoUrl {
ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];
if ([library videoAtPathIsCompatibleWithSavedPhotosAlbum:videoUrl]) {
//检验是否可以写入
ALAssetsLibraryWriteVideoCompletionBlock completionBlock;
completionBlock = ^(NSURL *assetURL, NSError *error) {
if (error) {
[self.delegate asssetLibraryWriteFailedWithError:error];
} else {
}
};
[library writeVideoAtPathToSavedPhotosAlbum:videoUrl completionBlock:completionBlock];
}
}
Photos/Photos.h实现图片和视频保存
[[PHPhotoLibrary sharedPhotoLibrary] performChanges:^{
[PHAssetChangeRequest creationRequestForAssetFromImage:image];
} completionHandler:^(BOOL success, NSError * _Nullable error) {
NSLog(@"success :%d ,error :%@",success,error);
if (success) {
// DO:
}
}];
[[PHPhotoLibrary sharedPhotoLibrary] performChanges:^{
[PHAssetChangeRequest creationRequestForAssetFromVideoAtFileURL:videoUrl];
} completionHandler:^(BOOL success, NSError * _Nullable error) {
if (success) {
// DO：
[self generateThumbnailForVideoAtURL:videoUrl];
} else {
[self.delegate asssetLibraryWriteFailedWithError:error];
NSLog(@"video save error :%@",error);
}
}];
7、关于闪光灯和手电筒的设置
设备后面的LED灯，当拍摄静态图片时作为闪光灯，当拍摄视频时用作连续灯光(手电筒).捕捉设备的flashMode和torchMode。
- AVCapture(Flash|Torch)ModeAuto：基于周围环境光照情况自动关闭或打开
- AVCapture(Flash|Torch)ModeOff：总是关闭
- AVCapture(Flash|Torch)ModeOn：总是打开
修改闪光灯或手电筒设置的时候，一定要先锁定设备再修改，否则会挂掉。
- (BOOL)cameraHasFlash {
return [[self activeCamera] hasFlash];
}
- (AVCaptureFlashMode)flashMode {
return [[self activeCamera] flashMode];
}
- (void)setFlashMode:(AVCaptureFlashMode)flashMode {
AVCaptureDevice *device = [self activeCamera];
if ([device isFlashModeSupported:flashMode]) {
NSError *error;
if ([device lockForConfiguration:&error]) {
device.flashMode = flashMode;
[device unlockForConfiguration];
} else {
[self.delegate deviceConfigurationFailedWithError:error];
}
}
}
- (BOOL)cameraHasTorch {
return [[self activeCamera] hasTorch];
}
- (AVCaptureTorchMode)torchMode {
return [[self activeCamera] torchMode];
}
- (void)setTorchMode:(AVCaptureTorchMode)torchMode {
AVCaptureDevice *device = [self activeCamera];
if ([device isTorchModeSupported:torchMode]) {
NSError *error;
if ([device lockForConfiguration:&error]) {
device.torchMode = torchMode;
[device unlockForConfiguration];
} else {
[self.delegate deviceConfigurationFailedWithError:error];
}
}
}
8、其他一些设置
还有许多可以设置的属性，比如聚焦、曝光等等，设置起来差不多，首先要检测设备(摄像头)是否支持相应功能，锁定设备，而后设置相关属性。
再以对焦为例
// 询问激活中的摄像头是否支持兴趣点对焦
- (BOOL)cameraSupportsTapToFocus {
return [[self activeCamera] isFocusPointOfInterestSupported];
}
// 点的坐标已经从屏幕坐标转换为捕捉设备坐标。
- (void)focusAtPoint:(CGPoint)point {
AVCaptureDevice *device = [self activeCamera];
if (device.isFocusPointOfInterestSupported && [device isFocusModeSupported:AVCaptureFocusModeAutoFocus]) {
// 确认是否支持兴趣点对焦并确认是否支持自动对焦模式。
// 这一模式会使用单独扫描的自动对焦，并将focusMode设置为AVCaptureFocusModeLocked
NSError *error;
if ([device lockForConfiguration:&error]) {
//锁定设备准备配置
device.focusPointOfInterest = point;
device.focusMode = AVCaptureFocusModeAutoFocus;
[device unlockForConfiguration];
} else {
[self.delegate deviceConfigurationFailedWithError:error];
}
}
}
关于屏幕坐标与设备坐标的转换
captureDevicePointOfInterestForPoint:--获取屏幕坐标系的CGPoint数据，返回转换得到的设备坐标系CGPoint数据
pointForCaptureDevicePointOfInterest:--获取社小偷坐标系的CGPoint数据，返回转换得到的屏幕坐标系CGPoint数据