iOS音视频数据采集之AVFoundation

1、iOS直播技术的流程

image.png

从上图中我们能够看出直播技术的流程大致可以分为几个步骤：数据采集、图像处理（美颜、滤镜）、视频编码、封包、上传、云端（转码、录制、分发）、直播播放器。
数据采集：通过摄像头和麦克风获得实时的音视频数据；
图像处理：将数据采集的输入流进行实时滤镜，得到我们美化之后的视频帧；
视频编码：编码分为软编码和硬编码。现在一般的编码方式都是H.264，比较新的H.265据说压缩率比较高，但算法也相当要复杂一些，使用还不够广泛。软编码是利用CPU进行编码，硬编码就是使用GPU进行编码，软编码支持现在所有的系统版本，由于苹果在iOS8才开放硬编码的API，故硬编码只支持iOS8以上的系统；
封包：现在直播推流中，一般采用的格式是FLV；
上传：常用的协议是利用RTMP协议进行推流；
云端：进行流的转码、分发和录制；
直播播放器：负责拉流、解码、播放。

2、音视频采集!

为了管理从相机或者麦克风等这样的设备捕获到的信息，我们需要输入对象(input)和输出对象(output)，并且使用一个会话(AVCaptureSession)来管理 input 和 output 之前的数据流：

类名	功能
AVCaptureDevice	输入设备，例如 摄像头 麦克风
AVCaptureInput	输入端口 [使用其子类]
AVCaptureOutput	设备输出 [使用其子类]，输出视频文件或者静态图像
AVCaptureSession	管理输入到输出的数据流
AVCaptureVideoPreviewLayer	展示采集 预览View

3、使用 Session 会话来管理数据流

创建一个 session 用来管理捕获到的数据，需要先将 inputs 和 outputs 添加到 session 中，当 session 执行 [startRunning] 方法后就会开始将数据流发送至 session，通过执行[stopRunning] 方法来结束数据流的发送。

///初始化会话管理对象
- (void)initAVCaptureSession {
//初始化
self.session = [[AVCaptureSession alloc] init];

// 设置分辨率
[self.session canSetSessionPreset:[self supportSessionPreset]];

/**
 注意: 配置AVCaptureSession 的时候, 必须先开始配置, beginConfiguration, 配置完成, 必须提交配置 commitConfiguration, 否则配置无效
 **/

//开始配置
[self.session beginConfiguration];

// 设置视频 I/O 对象 并添加到session
[self videoInputAndOutput];

// 设置音频 I/O 对象 并添加到session
[self audioInputAndOutput];

// 提交配置
[self.session commitConfiguration];

}

4、设置视频输入/输出对象

Note:一般由于设备有前后两个摄像头，所以我们获取AVCaptureDevice对象并不唯一，需要我们自己判断出是否是前置摄像头 还是 后置摄像头。

// 初始化视频设备对象
self.videoDevice = nil;

//获取视频设备管理对象 （由于分为前置摄像头 和 后置摄像头 所以返回的是数组）
NSArray *videoDevices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
for (AVCaptureDevice *device in videoDevices) {
    ///默认先开启前置摄像头
    if (device.position == AVCaptureDevicePositionFront) {
        self.videoDevice = device;
    }
}


//视频输入
//根据视频设备来初始化视频输入对象
NSError *error;
self.videoInput = [[AVCaptureDeviceInput alloc] initWithDevice:self.videoDevice error:&error];
if (error) {
    NSLog(@" 摄像头错误 ");
    return;
}

// 将输入对象添加到管理者 AVCaptureSession 中
// 需要先判断是否能够添加输入对象
if ([self.session canAddInput:self.videoInput]) {
    [self.session addInput:self.videoInput];
}

设置视频输出对象，注意，我们是通过[self.videoOutput setSampleBufferDelegate:self queue:videoQueue];来设置代理对象，以便回调 capture data stream

//视频输出对象
self.videoOutput = [[AVCaptureVideoDataOutput alloc] init];
//是否允许卡顿时丢帧
self.videoOutput.alwaysDiscardsLateVideoFrames = NO;

if ([self supportsFastTextureUpload]) {
    // 是否支持全频色彩编码 YUV 一种色彩编码方式, 即YCbCr, 现在视频一般采用该颜色空间, 可以分离亮度跟色彩, 在不影响清晰度的情况下来压缩视频
    BOOL supportFullYUVRange = NO;
    
    // 获取输出对象所支持的像素格式
    NSArray *supportedPixelFormats = self.videoOutput.availableVideoCVPixelFormatTypes;
    for (NSNumber *currentPixelFormat in supportedPixelFormats) {
        if ([currentPixelFormat integerValue] == kCVPixelFormatType_420YpCbCr8BiPlanarFullRange) {
            supportFullYUVRange = YES;
        }
    }
    
    // 根据是否支持全频色彩编码 YUV 来设置输出对象的视频像素压缩格式
    if (supportFullYUVRange) {
        [self.videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
    } else {
        [self.videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
    }
} else {
    [self.videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
}

// 创建设置代理是所需要的线程队列 优先级设为高
dispatch_queue_t videoQueue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_HIGH, 0);
// 设置代理
[self.videoOutput setSampleBufferDelegate:self queue:videoQueue];

// 判断session 是否可添加视频输出对象
if ([self.session canAddOutput:self.videoOutput]) {
    [self.session addOutput:self.videoOutput];
    
    // 链接视频 I/O 对象
    [self connectionVideoInputVideoOutput];
}

5、设置音频输入/输出对象

// 初始音频设备对象
self.audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];

// 音频输入对象
NSError *error;
self.audioInput = [[AVCaptureDeviceInput alloc] initWithDevice:self.audioDevice error:&error];
if (error) {
    NSLog(@"== 录音设备出错  %@", error);
}

// 判断session 是否可以添加 音频输入对象
if ([self.session canAddInput:self.audioInput]) {
    [self.session addInput:self.audioInput];
}

// 音频输出对象
self.audioOutput = [[AVCaptureAudioDataOutput alloc] init];

// 判断是否可以添加音频输出对象
if ([self.session canAddOutput:self.audioOutput]) {
    [self.session addOutput:self.audioOutput];
}

6、预览图层

实时显示摄像头捕获到的图像，但不适用于滤镜渲染

AVCaptureVideoPreviewLayer *previewLayer = [AVCaptureVideoPreviewLayer layerWithSession:captureSession];
previewLayer.frame = self.view.bounds;
[self.view.layer  addSublayer:previewLayer];

7、代理回调

#pragma mark - AVCaptureVideoDataOutputSampleBufferDelegate
// 获取帧数据
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
    // captureSession 会话如果没有强引用，这里不会得到执行

    NSLog(@"----- sampleBuffer ----- %@", sampleBuffer);
}

8、开始抓取

[self.session startRunning];

9、结束抓取

if ([self.session isRunning]) {
    [self.session stopRunning];
}