Metal之基本简介及常用组件说明

简介

• 在 WWDC 2014 上，Apple为游戏开发者推出了新的平台技术 Metal，该技术能够为 3D 图像提高 10 倍的渲染性能，并支持大家熟悉的游戏引擎及公司。
• Metal 是一种低层次的渲染应用程序编程接口，提供了软件所需的最低层，保证软件可以运行在不同的图形芯片上。Metal 提升了 A7 与 A8 处理器效能，让其性能完全发挥。
• Metal，充分利用GPU的运算能力，在现阶段，AVFoundation ⼈脸识别等大量需要显示计算的时候，苹果采用了硬件加速器驱动GPU工作，在音视频方面，⾳频编码/解码/视频编码/解码 ->压缩任务 ->都与硬件加速器分不开，苹果提供的Metal，能发挥GPU/CPu的最大性能，并且管理我们的资源。
• Metal优点:
  低CPU开销;
  最佳GPU性能，即metal 能在GPU上发挥最大的性能;
  最大限度的提高CPU/GPU 的并发性;
  有效的资源管理;
  

Metal的渲染流程

• Metal的渲染流程借鉴了OpenGL ES的流程，它通过控制顶点着色器/片元着色器（Metal里面叫顶点函数/片元函数），交给帧缓冲区，最后显示到屏幕上;
• 具体流程
  通过CPU将顶点数据传递到顶点着色器;
  顶点着色器将处理好的顶点进行图元装配;
  然后进行光栅化，得到每个像素点的颜色值;
  然后将颜色传入片元着色器进行处理;
  最后将数据存储到帧缓存区，并显示到屏幕上;
  
• 注意:在OpenGL ES中，图元装配有9种，在Metal中，图元装配只有5种，它们分别是:
  MTLPrimitiveTypePoint = 0, 点
  MTLPrimitiveTypeLine = 1, 线段
  MTLPrimitiveTypeLineStrip = 2, 线环
  MTLPrimitiveTypeTriangle = 3, 三角形
  MTLPrimitiveTypeTriangleStrip = 4, 三角型扇

Metal使用注意

一、Separate Your Rendering Loop

Apple建议我们Separate Your Rendering Loop，即分离渲染，Metal给我们提供了一个View，叫MTKView，它继承自UiView，它主要的渲染是通过MTKViewDelegate协议回调实现，两个重要的协议方法是：

• 当MTKView视图发生大小改变时调用

 	/*
    @method mtkView:drawableSizeWillChange:
    @abstract Called whenever the drawableSize of the view will chang
    @discussion Delegate can recompute view and projection matricies or regenerate any buffers to be compatible with the new view size or resolution
    @paramviewMTKView which called this method
    @paramsizeNew drawable size in pixels
    */
	- (void)mtkView:(nonnull MTKView *)view drawableSizeWillChange:(CGSize)size;

• 每当视图需要渲染时调用

 	/*
    @method drawInMTKView:
    @abstract Called on the delegate when it is asked to render into the view
    @discussion Called on the delegate when it is asked to render into the view
    */

    - (void)drawInMTKView:(nonnullMTKView*)view;

二、Metal驱动GPU工作

• 命令缓存区（command buffer）是从命令队列（command queue）创建的
• 命令编码器（command encoder）将命令编码到命令缓存区中
• 提交命令缓存区并将其发送到GPU
• GPU执行命令并将结果呈现为可绘制

Metal API

一、MTKView

• 在MetalKit中提供了一个视图类MTKView，类似于GLKit中GLKView，它是NSView（macOS中的视图类）或者UIView（iOS、tvOS中的视图类）的子类。用于处理metal绘制并显示到屏幕过程中的细节。
• 使用metal时，需要先创建MTKView对象，有两种创建方式:
  直接修改storyboard中view的类;
  使用init创建;

二、MTLDevice

• 由于metal是操作GPU的，所以需要获取GPU使用权限，即拿到GPU对象，Metal中提供了MTLDevice协议表示GPU接口，在iOS中一般是通过默认的方式MTLCreateSystemDefaultDevice()获取GPU

self.view.device = MTLCreateSystemDefaultDevice();

• metal的使用必须使用真机，且必须是6s及以上的机型，如果设备不支持mental，将会返回空; 如果想使用多个MTLDevice实例，或者从一个MTLDevice切换到另一个，则需要为每个MTLDevice创建单独的一组对象。
• MTLDevice协议表示可以执行命令的GPU，提供了如下功能:
  创建新的命令队列;
  从内存分配缓冲区;
  创建纹理;
  查询设备功能;

三、MTLCommandQueue

• 在获取了GPU后，还需要一个渲染队列，即命令队列Command Queue类型是MTLCommandQueue，该队列是与GPU交互的第一个对象，队列中存储的是将要渲染的命令MTLCommandBuffer。
• 队列的获取需要通过MTLDevice对象获取，且每个命令队列的生命周期很长，因此commandQueue可以重复使用，而不是频繁创建和销毁。

_commandQueue = [_device newCommandQueue];

• 在绘制之前，首先需要配置好MTKView、MTLDevice以及MTLCommandQueue后，其次是准备渲染到屏幕上的数据，即准备缓存数据MTLCommandBuffer，例如顶点数据等。
• 基本流程
  先通过MTLCommandBuffer创建渲染缓存区;
  其次通过MTLRenderPassDescriptor创建渲染描述符;
  然后再通过创建的渲染缓存区和渲染描述符创建命令编辑器MTLRenderCommandEncoder 进行编码;
  最后是结束编码，提交渲染命令，在完成渲染后，将命令缓存区提交至GPU;

四、MTLCommandBuffer

• 命令缓存区 Command Buffer主要是用于存储编码的命令，其生命周期是知道缓存区被提交到GPU执行为止，单个的命令缓存区可以包含不同的编码命令，主要取决于用于构建它的编码器的类型和数量。
• 命令缓存区的创建可以通过调用MTLCommandQueue的commandBuffer方法，且command buffer对象的提交只能提交至创建它的MTLCommandQueue对象中。
• commandBuffer在未提交命令缓存区之前，是不会开始执行的，提交后，命令缓存区将按其入队的顺序执行，commandBuffer的提交方式有以下两种，不同的提交方式表示不同的执行顺序:
  ① enqueue：顺序执行，enqueue方法在命令队列中为命令缓存区保留一个位置，此时并未提交命令缓存区，当最终提交命令缓存区后，按照命令队列的顺序依次执行;
  ② commit：插队尽快执行，如果前面有commit还是需要排队等待;

五、MTLRenderCommandEncoder

① MTLRenderCommandEncoder表示单个渲染过程中相关联的渲染状态和渲染命令，主要功能如下：

• 指定图形资源，例如缓存区和纹理对象，其中包含顶点、片元、纹理图片数据;
• 指定一个MTLRenderPipelineState对象，表示编译的渲染状态，包含顶点着色器和片元着色器的编译&链接情况;
• 指定固定功能，包括视口、三角形填充模式、剪刀矩形、深度、模板测试以及其它值
  绘制3D图元;

② 在创建commandEncoder之前，需要先创建渲染描述符MTLRenderPassDescriptor，渲染描述符通过MTKView的currentRenderPassDescriptor获取

MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;

③ 然后通过commandBuffer结合渲染描述符创建命令编辑器

id<MTLRenderCommandEncoder> renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];

④ 使用渲染命令编码器执行渲染的过程

• 通过调用MTLCommandBuffer对象的makeRenderCommandEncoder（descriptor :)方法来创建MTLRenderCommandEncoder对象。
• 调用setRenderPipelineState（_ :)方法以指定MTLRenderPipelineState，该状态定义图形渲染管道的状态，包括顶点和片段函数。
• 指定用于顶点和片元函数输入和输出的资源，并在对应的参数中设置每个资源的位置（即索引），即将顶点数据等通过commandEncoder调用setVertexBytes:length:atIndex:函数传递到metal文件的顶点着色器和片元着色器函数
• 指定其他的固定功能状态，例如通过commandEncoder调用setViewport:函数设置视口大小等。
• 绘制图形。
• 调用endEncoding（）方法以终止渲染命令编码器。