Mali GPU : Abstract Machine Part 1 - Frame Pipelining 2019-11-24

https://community.arm.com/developer/tools-software/graphics/b/blog/posts/the-mali-gpu-an-abstract-machine-part-1---frame-pipelining

Render机制概述

要分析AP的graphics performance，需要了解OGL ES API的模型，观察其行为进行推测。
下面是这个机制的3个有用的部分：

1. CPU-GPU rendering pipeline
2. Tile-based rendering
3. Shader core architecture

Synchronous API, Asynchronous Execution

很重要的基础是，了解AP调用的OGLES API需要执行的render操作。AP执行一系列func calls，以设置下一个draw task所需的state，然后调用glDrawxxx来触发一次真正的draw operation. 由于API是synchronous同步的，就会感觉后续的render操作都是立即发生的，其实不是这样，这是driver造成的错觉。

与draw calls类型，第二个错觉来自driver的end-of-frame buffer flip。
我们知道用eglSwapBuffer来swap front and back-buffer，这也是driver造成的同步假象，实际硬件的buffer swap都在很长时间以后发生。

Pipelining

这么做是为了performance。
如果我们强制把render做同步，就可能发生：

• GPU idle，但CPU忙于为下一个draw创建state
• CPU idle，但GPU在渲染

这不利于performance，所有的idle都不该有。

GLES sync

为了去除idle，GLES driver维护了synchronous rendering的假象，实际底层render和frame swaps 是异步的(asynchronously under the hood)。通过async可以建立一个小backlog of work，允许创建一个pipeline：GPU处理一个pipeline尾的older workloads，而CPU向另一个 push new work。这样就可以时pipeline一直是full的，GPU总有工作可以做，以提高performance。

GLES async

Mali GPU pipeline的units根据per rendertarget basis来schedule，render target可能是window surface或者是off-screen render buffer。一个render target被处理为两个步骤:

1. GPU处理所有render target的draw calls的vertex shading，
2. 处理整个render target的fragment shading

GLES mali

可以看到，CPU处理比较快，Geometry就是顶点着色阶段，Fragment就是Pixel着色，时间最长。

Pipeline Throttling

图中可以看到，fragment work是3个操作里面最慢的，它愈发落后于CPU处理和geometry stages。
这种延迟是用户受不了的，不该因fragment stage而使backlog of work过大。所以需要机制周期性的降低CPU thread的速度，当pipeline full时不再enqueue，

这种throttling mechanism节流机制一般由host windowing system处理，而不是graphic driver。
比如，adnroid上，在指定buffer的orientation前，我们不能做任何draw操作，因为user可能会rotate device,change frame size。Surfaceflinger, Android的window surface manager，就会控制pipeline depeth: 在排队等待render的queue如果超过了N个buffer，就不再给AP的graphics stack返回buffer.

只要达到N，CPU就会idle，阻塞在EGL或者OGLES API func，直到display consume pending buffer，释放一个新buffer去做render。

这种机制下，如果graphics stack跑的比显示的刷新率块，就也会剑指pipeline buffering。
这个图里，vsync limited，等待vertical blank signal，他用来告诉display controller何时switch to next front-buffer。如果GPU处理frame比display显示的速度快，那SF就会积攒大量早已render好的buffer，等待显示。

GLES mali vsync

如图，vsync limited，这时CPU和GPU会周期性的idel。
然后DVFS(dynamic voltage and frequency scaling)就会试图降低工作频率从而降低电压和功耗。