Metal 实现摄像头采集内容的渲染

如何通过Metal实现摄像头采集内容的即时渲染？

实现摄像头采集内容渲染的流程

1. 通过AVFoundation进行视频采集
2. 通过采集到的CMSampleBufferRef 获取纹理数据
3. 将纹理数据渲染到屏幕上

摄像头即刻渲染流程图.jpg

初始化MTKView

初始化Metal.jpg

1. 获取MTKView的基本操作外，需要设置MTKView的drawable纹理是可读写的。设置framebufferOnly为false。

   @property (nonatomic) BOOL framebufferOnly;
   

2. 通过下列函数创建一个纹理缓存区

   功能: 创建纹理缓存区

   参数1: allocator 内存分配器.默认即可.NULL

   参数2: cacheAttributes 缓存区行为字典.默认为NULL

   参数3: metalDevice

   参数4: textureAttributes 缓存创建纹理选项的字典. 使用默认选项NULL

   参数5: cacheOut 返回时，包含新创建的纹理缓存。

    CVReturn CVMetalTextureCacheCreate(
                    CFAllocatorRef CV_NULLABLE allocator,
                    CFDictionaryRef CV_NULLABLE cacheAttributes,
                    id  CV_NONNULL metalDevice,
                    CFDictionaryRef CV_NULLABLE textureAttributes,
                    CV_RETURNS_RETAINED_PARAMETER CVMetalTextureCacheRef CV_NULLABLE * CV_NONNULL cacheOut )
   

AVFoundation视频采集

视频采集.jpg

1. 创建一个AVCaptureSession会话

   //1.创建mCaptureSession
   self.mCaptureSession = [[AVCaptureSession alloc] init];
   //设置视频采集的分辨率
   self.mCaptureSession.sessionPreset = AVCaptureSessionPreset1920x1080;
   

2. 设置视频捕捉输入

   //获取摄像头设备(前置/后置摄像头设备)
   NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
   AVCaptureDevice *inputCamera = nil;
   //循环设备数组,找到后置摄像头.设置为当前inputCamera
   for (AVCaptureDevice *device in devices) {
       if ([device position] == AVCaptureDevicePositionBack) {
           inputCamera = device;
       }
   }
   
   //将AVCaptureDevice 转换为AVCaptureDeviceInput
   self.mCaptureDeviceInput = [[AVCaptureDeviceInput alloc] initWithDevice:inputCamera error:nil];
   
   //将设备添加到mCaptureSession中
   if ([self.mCaptureSession canAddInput:self.mCaptureDeviceInput]) {
       [self.mCaptureSession addInput:self.mCaptureDeviceInput];
   }
   

3. 设置视频捕捉输出

   
   //创建AVCaptureVideoDataOutput 对象
   self.mCaptureDeviceOutput = [[AVCaptureVideoDataOutput alloc] init];
   
   /*设置视频帧延迟到底时是否丢弃数据.
    YES: 处理现有帧的调度队列在captureOutput:didOutputSampleBuffer:FromConnection:Delegate方法中被阻止时，对象会立即丢弃捕获的帧。
    NO: 在丢弃新帧之前，允许委托有更多的时间处理旧帧，但这样可能会内存增加.
    */
   [self.mCaptureDeviceOutput setAlwaysDiscardsLateVideoFrames:NO];
   
   self.mProcessQueue = dispatch_queue_create("mProcessQueue", DISPATCH_QUEUE_SERIAL);
   //这里设置格式为BGRA，而不用YUV的颜色空间，避免使用Shader转换
   //注意:这里必须和后面CVMetalTextureCacheCreateTextureFromImage 保存图像像素存储格式保持一致.否则视频会出现异常现象.
   [self.mCaptureDeviceOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
       
   //设置视频捕捉输出的代理方法
   [self.mCaptureDeviceOutput setSampleBufferDelegate:self queue:self.mProcessQueue];
   
   //添加输出
   if ([self.mCaptureSession canAddOutput:self.mCaptureDeviceOutput]) {
       [self.mCaptureSession addOutput:self.mCaptureDeviceOutput];
   }
   

4. 输入与输出链接

   
   //输入与输出链接
   AVCaptureConnection *connection = [self.mCaptureDeviceOutput connectionWithMediaType:AVMediaTypeVideo];
   
   //设置视频方向
   //注意: 一定要设置视频方向.否则视频会是朝向异常的.
   [connection setVideoOrientation:AVCaptureVideoOrientationPortrait];
   
   
   

5. 开始捕捉

   //开始捕捉
   [self.mCaptureSession startRunning];
   

视频采集回调处理

AVCaptureVideoDataOutputSampleBufferDelegate

- (void)captureOutput:(AVCaptureOutput *)captureOutput 
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
       fromConnection:(AVCaptureConnection *)connection

CMSampleBufferRef

音频、视频等媒体类型的样本，在此处返回的视频类型的原始样本。

通过下面的函数获取视频像素缓存区的对象

CVImageBufferRef CMSampleBufferGetImageBuffer(CMSampleBufferRef sbuf)

通过CVPixelBufferRef获取捕捉视频的宽和高

 size_t width = CVPixelBufferGetWidth(pixelBuffer);
 size_t height = CVPixelBufferGetHeight(pixelBuffer);

根据视频像素缓存区CVPixelBufferRef 创建 Metal 纹理缓存区

功能: 从现有图像缓冲区创建核心视频Metal纹理缓冲区。

参数1: allocator 内存分配器,默认kCFAllocatorDefault

参数2: textureCache 纹理缓存区对象

参数3: sourceImage 视频图像缓冲区

参数4: textureAttributes 纹理参数字典.默认为NULL

参数5: pixelFormat 图像缓存区数据的Metal 像素格式常量.注意如果MTLPixelFormatBGRA8Unorm和摄像头采集时设置的颜色格式不一致，则会出现图像异常的情况；

参数6: width,纹理图像的宽度（像素）

参数7: height,纹理图像的高度（像素）

参数8: planeIndex.如果图像缓冲区是平面的，则为映射纹理数据的平面索引。对于非平面图像缓冲区忽略。

参数9: textureOut,返回时，返回创建的Metal纹理缓冲区。

CVReturn CVMetalTextureCacheCreateTextureFromImage(CFAllocatorRef allocator,                         CVMetalTextureCacheRef textureCache,
     CVImageBufferRef sourceImage,
     CFDictionaryRef textureAttributes,
     MTLPixelFormat pixelFormat,
     size_t width,
     size_t height,
     size_t planeIndex,
     CVMetalTextureRef  *textureOut);

根据CVMetalTextureRef 获取Metal纹理对象

通过下面的函数可以获得一个MTLTexture，并存储用于Metal渲染。

id  CVMetalTextureGetTexture( CVMetalTextureRef image )

视图渲染

判断当前纹理是否存在，若存在则进行绘制，绘制后将当前纹理清空。

这里使用Metal的高斯滤镜绘制

//视图渲染则会调用此方法
- (void)drawInMTKView:(MTKView *)view {
  
    //1.判断是否获取了AVFoundation 采集的纹理数据
    if (self.texture) {
        
        //2.创建指令缓冲
        id commandBuffer = [self.commandQueue commandBuffer];
        
        //3.将MTKView 作为目标渲染纹理
        id drawingTexture = view.currentDrawable.texture;
        
        //4.设置滤镜
        /*
         MetalPerformanceShaders是Metal的一个集成库，有一些滤镜处理的Metal实现;
         MPSImageGaussianBlur 高斯模糊处理;
         */
       
        //创建高斯滤镜处理filter
        //注意:sigma值可以修改，sigma值越高图像越模糊;
        MPSImageGaussianBlur *filter = [[MPSImageGaussianBlur alloc] initWithDevice:self.mtkView.device sigma:1];
        
        //5.MPSImageGaussianBlur以一个Metal纹理作为输入，以一个Metal纹理作为输出；
        //输入:摄像头采集的图像 self.texture
        //输出:创建的纹理 drawingTexture(其实就是view.currentDrawable.texture)
        [filter encodeToCommandBuffer:commandBuffer sourceTexture:self.texture destinationTexture:drawingTexture];
        
        //6.展示显示的内容
        [commandBuffer presentDrawable:view.currentDrawable];
        
        //7.提交命令
        [commandBuffer commit];
        
        //8.清空当前纹理,准备下一次的纹理数据读取.
        self.texture = NULL;
    }
}