二十九 AVFoundation采集视频获取纹理+MetalKit高斯模糊渲染

流程和步骤

功能划分

主要分为两个部分：

• 视频采集
  通过AVFoundation进行视频数据的采集到，原始数据存储到CMSampleBufferRef中，
  在AVCaptureVideoDataOutputSampleBufferDelegate的回调函数中，获取到原始数据存储到CMSampleBufferRef中中的数据，并通过CoreVideo将CMSampleBufferRef中存储的图像数据转换为Metal可以直接使用的纹理MTLTexture

• Metal对采集的图像帧进行渲染
  采用MetalKit内置的MPSImageGaussianBlur滤镜对纹理渲染（MetalKit对视频图像的渲染等同于AVCaptureVideoPreviewLayer预览）

分为以下几个步骤

1. 准备工作

image

• 导入库 MetalKit.framework

• 模块化导入

  • MetalKit
  • AVFoundation
  • CoreMedia

• 导入头文件

#import 

• 协议实现
  • 渲染MTKViewDelegate

• 视频捕捉AVCaptureVideoDataOutputSampleBufferDelegate
  AVFoundation 视频采集回调方法

2. 内置属性
[图片上传失败...(image-bd3f5c-1599700474574)]

• MTKView

    MTKView *_view;
  

• 数据传递Session

    AVCaptureSession *mCaptureSession;
  

• 从AVCaptureDevice获得输入数据

    AVCaptureDeviceInput *mCaptureDeviceInput
  

• 输出设备

    AVCaptureVideoDataOutput *mCaptureDeviceOutput
  

• 处理队列

    dispatch_queue_t mProcessQueue
  

• 纹理缓存区

    CVMetalTextureCacheRef textureCache
  

• 命令队列

    id commandQueue
  

• 纹理

    id texture
  

3. viewDidLoad

image

• Metal相关初始化 setupMetal

  • 创建并添加MTKView，设置代理
  • 创建命令队列
  • 允许帧缓冲区读写操作
  • 创建纹理缓冲区

• 视频捕捉初始化 setupCaptureSession

  • 创建mCaptureSession
  • 创建串行队列 mProcessQueue
  • 获取摄像头设备 AVCaptureDevice
  • 将AVCaptureDevice 转换为AVCaptureDeviceInput
  • 将设备添加到mCaptureSession中
  • 创建AVCaptureVideoDataOutput 对象
  • 设置视频帧延迟到底时是否丢弃数
  • 设置采样格式为BGRA
  • 设置视频捕捉输出的代理
  • 添加输出到mCaptureSession
  • 输入与输出链接
  • 设置视频方向
  • 开始捕捉

4.视频采集回调协议

AVCaptureVideoDataOutputSampleBufferDelegate

image

-captureOutput:
didOutputSampleBuffer:
fromConnection:

• 从sampleBuffer 获取视频像素缓存区对象
• 获取捕捉视频的宽和高
• 根据视频像素缓存区 创建 Metal 纹理缓存区
  CVMetalTextureCacheCreateTextureFromImage
• 判断tmpTexture 是否创建成功
• 设置可绘制纹理的当前大小。
• 返回纹理缓冲区的Metal纹理对象
• 释放tmpTexture

5.渲染MTKViewDelegate

image

• 视图大小发生改变时.会调用此方法
  -mtkView: drawableSizeWillChange:
• 视图渲染则会调用此方法
  -drawInMTKView:
  • 判断是否获取了AVFoundation 采集的纹理数据
  • 创建指令缓冲 MTLCommandBuffer
  • 将MTKView 作为目标渲染纹理MTLTexture
  • 设置滤镜 MPSImageGaussianBlur
  • 设置滤镜的输入输出
  • 展示显示的内容 presentDrawable
  • 提交命令
  • 清空当前纹理,准备下一次的纹理数据读取

代码执行流程

image

完整代码参考：github