视频采集

视频采集

2A062F9A2B3ECFB9F380BA57338B91BA.png

0A629ECB7D473E837ADC2363F6033662.png

相关类的介绍:

• [ ] AVCaptureDevice：硬件设备，包括麦克风、摄像头，通过该对象可以设置物理设备的一些属性（例如相机聚焦、白平衡等）
• [ ] AVCaptureDeviceInput：硬件输入对象，可以根据AVCaptureDevice创建对应的AVCaptureDeviceInput对象，用于管理硬件输入数据
• [ ] AVCaptureOutput：硬件输出对象，用于接收各类输出数据，通常使用对应的子类AVCaptureAudioDataOutput（声音数据输出对象）、AVCaptureVideoDataOutput（视频数据输出对象）
• [ ] AVCaptionConnection:当把一个输入和输出添加到AVCaptureSession之后，AVCaptureSession就会在输入、输出设备之间建立连接,而且通过AVCaptureOutput可以获取这个连接对象
• [ ] AVCaptureVideoPreviewLayer:相机拍摄预览图层，能实时查看拍照或视频录制效果，创建该对象需要指定对应的AVCaptureSession对象，因为AVCaptureSession包含视频输入数据，有视频数据才能展示
• [ ] AVCaptureSession: 协调输入与输出之间传输数据系统作用：可以操作硬件设备

工作原理：让App与系统之间产生一个捕获会话，相当于App与硬件设备有联系了， 我们只需要把硬件输入对象和输出对象添加到会话中，会话就会自动把硬件输入对象和输出产生连接，这样硬件输入与输出设备就能传输音视频数据。

采集视频具体步骤:
需要的属性

@property(nonatomic,strong) AVCaptureSession *captureSession;  // AVCaptureSession
@property(nonatomic,strong) AVCaptureDeviceInput *currentVideoDeviceInput ;  // AVCaptureDeviceInput
@property (nonatomic, weak) AVCaptureConnection *videoConnection;
@property (nonatomic, weak) AVCaptureVideoPreviewLayer *previedLayer;

.h
/**
 开启相机
 */
- (void)startRunning;

@property(nonatomic,copy) void(^sampleBufferCallBack)(CMSampleBufferRef sampleBuffer);  // 毁掉数据
.m
// 创建session
- (void)setupSession
{
    // 1, 创建步骤绘画,设置分辨率
    AVCaptureSession *captureSession = [[AVCaptureSession alloc] init];
    self.captureSession = captureSession;
    captureSession.sessionPreset = AVCaptureSessionPreset1280x720;  // 设置分辨率
    
    
    // 2.获取摄像头设备，默认是后置摄像头
    AVCaptureDevice *videoDevice = [self getVideoDevice:AVCaptureDevicePositionFront];
    
    // 3, 获取声音设备
    AVCaptureDevice *audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
    
    // 4.创建对应视频设备输入对象
    AVCaptureDeviceInput *videoDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:nil];
    _currentVideoDeviceInput = videoDeviceInput;
    
    // 5.创建对应音频设备输入对象
    AVCaptureDeviceInput *audioDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:nil];
    
    // 6.添加到会话中
    // 注意“最好要判断是否能添加输入，会话不能添加空的
    // 6.1 添加视频
    if ([captureSession canAddInput:videoDeviceInput])
    {
        [captureSession addInput:videoDeviceInput];
    }
    // 6.2 添加音频
    if ([captureSession canAddInput:audioDeviceInput])
    {
        [captureSession addInput:audioDeviceInput];
    }
    
    // 7.获取视频数据输出设备
    AVCaptureVideoDataOutput *videoOutput = [[AVCaptureVideoDataOutput alloc] init];
    // 7.1 设置代理，捕获视频样品数据
    // 注意：队列必须是串行队列，才能获取到数据，而且不能为空
    dispatch_queue_t videoQueue = dispatch_queue_create("Video Capture Queue", DISPATCH_QUEUE_SERIAL);
    [videoOutput setSampleBufferDelegate:self queue:videoQueue];  // 可以获取视频的帧数据
    if ([captureSession canAddOutput:videoOutput])
    {
        [captureSession addOutput:videoOutput];
    }
    // 8.获取音频数据输出设备
    AVCaptureAudioDataOutput *audioOutput = [[AVCaptureAudioDataOutput alloc] init];
    // 8.2 设置代理，捕获视频样品数据
    // 注意：队列必须是串行队列，才能获取到数据，而且不能为空
    dispatch_queue_t audioQueue = dispatch_queue_create("Audio Capture Queue", DISPATCH_QUEUE_SERIAL);
    [audioOutput setSampleBufferDelegate:self queue:audioQueue];
    if ([captureSession canAddOutput:audioOutput])
    {
        [captureSession addOutput:audioOutput];
    }
    
    // 9.获取视频输入与输出连接，用于分辨音视频数据
    self.videoConnection = [videoOutput connectionWithMediaType:AVMediaTypeVideo];
    self.videoConnection.videoOrientation = AVCaptureVideoOrientationPortraitUpsideDown;
}

- (void)startRunning
{
    //10 开启绘画
    [_captureSession startRunning];
}

// 指定摄像头方向获取摄像头
- (AVCaptureDevice *)getVideoDevice:(AVCaptureDevicePosition)position
{
    NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
    for (AVCaptureDevice *device in devices)
    {
        if (device.position == position)
        {
            return device;
        }
    }
    return nil;
}
#pragma mark - AVCaptureVideoDataOutputSampleBufferDelegate
// 获取输入设备数据，有可能是音频有可能是视频
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    if (_videoConnection == connection)
    {
        if (self.sampleBufferCallBack)
        {
            self.sampleBufferCallBack(sampleBuffer);
        }
    }
    else
    {
       
    }
}

结合之前的opengl的渲染综合使用

-(void)setupOpengl
{
    self.ijsVideo =[[IJSOpenGLView alloc]initWithFrame:[UIScreen mainScreen].bounds];
  
    IJSVideoCamera *camera = [[IJSVideoCamera alloc]init];
    self.camera = camera;
     __weak typeof (self) weakSelf = self;
    camera.sampleBufferCallBack = ^(CMSampleBufferRef sampleBuffer) {
        [weakSelf.ijsVideo displayFramebuffer:sampleBuffer];
    };
    self.view = self.ijsVideo;
    [self.camera startRunning];
}