Graphics User Guide(Rockchip Linux)
rockchip linux平台的graphic，和以往大家所习惯所不同的是，我们应该是最先全面应用上drm和dmabuf的arm linux平台。优势是，通用的架构，在上面客制化会很容易，可以利用很多现有组件，现在有很多基础开源项目的开发，都开始基于rockchip平台来作为arm端的适配平台。但缺点是，确实大家都不是很理解这些东西，实际应用起来需要一个学习过程。
wiki资料点这里。
hardware
vop
vop是display单元，用来显示图像（比如输入nv12,rgb的buffer，显示到屏幕。输入1080p的图像，显示4k大小）。
rk3288有两个vop，vop有3个图层，前两个支持到4k分辨率，后一个鼠标层只有64×64。
rk3399同rk3288。
rk3036只有一个vop，2个图层，一个支持1080p，一个720p。
API
- libdrm
gpu
gpu提供opengles api，适合做3d图形和2d图形的加速。
API
- opengles
- egl
- opencl
software
先看这个结构图，有什么不理解可以留言。
重点理解libdrm，wayland和x11(compositor),mesa和libmali，qt和gtk（applcation）的关系。这张图理解了，写graphic就很轻松，不理解，就会一头雾水。
libdrm
libdrm是drm下沟通驱动和用户层的库。过去app可能是直接使用open(fb)这样的方式来和图形驱动沟通，但是在现在的硬件演化下，已经不合适了。比如硬件
- 有多个图层怎么办？
- 有多个屏幕怎么办？
- 怎么处理vsync的问题，怎么同步不撕裂？
- 怎么利用上dmabuf，做到memory zero-copy？
libdrm的存在就是用来方便用户层和驱动这些问题，提供API给X11, Wayland这样的display backend使用。如果你的程序比较简单，比如一个广告机循环播放视频，那是可以直接调用libdrm，但是不建议直接使用libdrm的api。原因很多：
- 首先，你肯定不熟悉libdrm，因为libdrm本身是一个比较新的api，而且接触者局限在相关的drm driver developer和wayland/xserver developer这些人身上。
- libdrm的演进比较快，比如说api还分atomic和legacy，你可能看到的资料和你现在用的完全不一样，只有熟悉演进记录的人才行。
- 很多效果依赖于厂商的实现，甚至rockchip还有修改很多core API的表现效果来辅助我们内部产品项目，所以同个API在不同平台表现有可能完全不同的
当然，这里不是让你用x11和wayland，而是用我们封装好的东西。比如，广告机循环播放视频，那最好是用gstreamer，然后选kmssink显示，而不是直接调用libdrm的api。
简单的理解
drm里有crtc，plane，connector这三个东西，可以理解
- connector就是屏幕，比如一个hdmi一个connector num， 一个dsi一个connector num
- crtc表示vop， 一个屏幕一般对应一个crtc
- plane就是图层，比如视频层在plane2，UI在plane1， 视频在UI上面
drm里api分两套，legacy和atomic。
legacy看名字就是早期的api，我们现在大部分程序也都是用的legacy api。里面有几个关键的funciton要注意下，drmModeSetCrtc包括了drmModeSetPlane包括了drmModePageFlip。
drmModeSetCrtc一般是用来设置UI层，同时设置分辨率用，这里设下的size最后我改到屏幕的分辨率。在rockchip的bsp kernel上drmModeSetCrtc给出的buffer size不需要等于我们要设置的分辨率，这是为了实现在4k的屏幕上使用1080p的UI而做的，不过要注意，这是rockchip自己瞎改的。
drmModeSetPlane用来设置不同图层的显示，比如视频。参数上分别是要显示buffer fd，要操作的图层，要显示的大小，buffer的大小。他会缩放buffer显示到屏幕上。在rockchip平台上这个api是async的，两续调用两次，前面的就被覆盖了，可能需要drmwaitvblank一下,不过要注意，一般内核不会这样的。
为什么rockchip要改这么多地方呢。因为我们想在legacy的api上也完成多图层的显示。想下，我现在用两个图层，图层1和图层2,我现在图层1调用一次drmModeSetPlane，图层2调用一次drmModeSetPlane，然后他们都等一个vsync单位的时间，那假设屏幕刷新率60hz，我们的最大帧数是不是只有30fps了？为了解决这个问题，上游的人又开发了atomic的api。
atomic api的实质可以理解为一个提交包括了所有的图层的更新信息。这样就不用调用两次drmModeSetPlane了，而是一次的drmModeAtomicCommit，跟上所有的参数。atomic还有一个很有用的地方在他可以设置plane的zpos，这样就可以自由交换overlay plane和primary plane的显示层级了。之前我们在legacy api（kmssink）的时候都在kernel里hard code层级,但用atomic（mpv）的时候就不需要这样做，设置zpos后，osd（primary layer）也能在video(overlay layer)上面显示了。
资料
- 官方文档！建议什么概念不懂看这里
leagacy的实例
- mpp+libdrm
- rga+libdrm
- gstreamer里的kmssink
atomic的实例
- mpv播放器
当然最好还是看libdrm的文档和test程序。如果你是自己写小程序，可以把mpp+libdrm那demo里的rkdrm下的文件抽出来自己用，还是挺方便的。如果只是写给rockchip平台用，就legacy api，如果还有多个平台的需求，就研究下atomic了。
libmali
libmali单独拉出来讲一下，这个东西就是arm提供的userspace gpu驱动。
前面说了，gpu是提供opengles，egl，opencl api的，所以你要这几个工作，就需要把libmali加进rootfs里。
默认的binary我们都会传github上：https://github.com/rockchip-linux/libmali
命名规则：gpu型号-软件版本-硬件版本（如果有的话，比如说r1p0区分3288和3288w）-编译选项。
要注意编译选项。
- 不带后缀。是x11-gbm，注意gbm是配置drm使用的memory机制，如果不是3.10的kernel，不要用fbdev的。
- gbm。 是给qteglfs这样的程序用的，不依赖x11,wayland。
- wayland。 wayland-gbm， 给wayaland使用
需要替换的系统链接：x11 or none:https://github.com/rockchip-linux/libmali/blob/rockchip/debian/libmali-rk-midgard-t76x-r14p0-r0p0.linkswayland:https://github.com/rockchip-linux/libmali/blob/rockchip/debian/libmali-rk-midgard-t76x-r14p0-r0p0-wayland.links
zero-copy
用mali显示dmabuf的数据，比如说摄像头，视频，其实是可以用dmabuf zero-copy机制优化的。不然载入texture还要cpu去拷贝。
参考：
x11
就和一般桌面平台差不多，不过要x11要有个gpu性能缺陷的问题。
links
https://en.wikipedia.org/wiki/X.Org_Server
http://www.comptechdoc.org/os/linux/howlinuxworks/linux_hlxwindows.html
https://dri.freedesktop.org/wiki/DDX/
https://www.freedesktop.org/wiki/Software/Glamor/
wayland
建议使用yocto sdk做wayland的开发。不然不回答怎么编译，怎么运行的问题。
效率上wayland要比x11好点，主要是兼容性问题。如果不需要桌面，又要多窗口，可以wayland试试看。
zero-copy
wayland也有zero-copy的配置，可以搜下相关的wayland dmabuf。
资料
https://en.wikipedia.org/wiki/Wayland
none
不使用x11和wayland就是none啦，这也是我们嵌入式上接触比较多的。什么minigui啊，sdl啦都是这样的。
不过要支持到drm和opengl这种的，就只有qt了。
qteglfs
QT EGLFS是qt自己实现的一个gui系统，不支持多窗口，但也因此少了window compoiste。
QT EGLFS和dri2的方式也差不多，区别就在于，qt eglfs的font buffer在自己用gpu compoiste后，是直接送给drm去显示，而X里是送Window manager去做compoiste，所以EGLFS在效率上是有优势的。
FAQ
输出4k，但是UI只想1080p
目前只支持qteglfs实现这种需求。http://blog.iotwrt.com/tips/2017/06/04/swap-layer/
推荐下怎么选display
At present, the recommended choices for fullscreen window are :
- qt with eglfs plugin
- EGL program + x11
- wayland
- x11
The recommended choices for multi window are :
- wayland
- x11
The recommended choices for desktop are :
- x11
The recommended choices for 4K playback + fullscreen window are :
- qt with eglfs plugin
- x11
The recommended choices for 4K playback + multi window are :
- x11