Android NDK开发FFmpeg/OpenGLES/OpenCV问题汇总

 

之前Qt的人脸特效方面的c++项目，用到的库很多，FFmpeg OpenGL OpenCV libYUV GLM...

最近决定同样的东西，在安卓上做完整做一次。

虽然大部分都是标准c/c++但移植过程，也出现了很多小问题，麻烦。

这些小问题，麻烦虽然都能拐个弯解决，但总结其实就是，安卓开发其实要比Qt,iOS麻烦一些。

很多东西并不能一步到位。尤其一些c c++项目，并不像ios qt那样，基本不怎么改就能直接跑起来。安卓上光c++库就好几个。libc++ gunc++。。 而且版本不兼容。 一些早年开发的opencv的项目什么的，很可能导致很多麻烦。

1 OpenGL方面，GLSL放在asset下. JNI传入AssetManager 来获取，读取shader文件. 这个做法点赞,类似Qt，因为把shader当字符串，写在代码里，每行敲一个"\n"，实在太糟糕了。弄在Asset里面还有个好处，当然Qt做得更好一些，把shader文件打包到可执行文件二进制里面了。更隐蔽。之前可以看到很多商业公司的软件，shader文件竟然暴露在外面。

2 安卓OpenGLES直接上3.0。 3.0的GL，有VAO，GLSL 支持layout, in out关键字，用起来更舒服。更合理.

3 写FFmpeg，99%都一样，这个不必说，libYUV可以替代swscale，谷歌自家写的，效率应该有优化.

4 OpenCV，这个确实有很多麻烦。首先是c++ 有几个版本，有些不兼容，libc++ gunc++ libstdc++ 这背后就不细说。GCC/LLVM/Clang.. OpenCV3.x用的是gnuc++。 如果你用的是ndk r16之前的ndk，就用gnuc++。 r16之后，用的是libc++。用错了opencv都编不过。

5 如果你的代码是早年的opencv写的项目，可能还比较麻烦。如果用最新的安卓studio，最新的ndk，就只能改，将代码改成opencv4.x最新的兼容版本.

6 训练的model ,classifier，在安卓上加载，还不能用assertmanager。assermanager其实蛮方便的，比如加载图片，GLSL。 这些二进制文件，建议用java读取asset/Resources文件，然后拷贝到App私有目录下，然后再按照之前iostream方式加载。

成功移植到安卓的结果： 

以上就是安卓在FFmpeg，OpenGL，OpenCV开发过程中的小麻烦总结。跑通了其实也比较简单，就那么点事儿.但整个过程，没有iOS/Qt那样单纯，简单，直观，总要拐个弯去解决。毕竟有个java摆在那. 其实从Qt框架移植到安卓上，就可以看到，很多地方，在c++层也调用了java API来解决问题，如果c++实在解决不了的话。

深入做客户端开发，一些核心代码，第三方库还得靠c++。所以客户端开发程序员，熟练掌握一个c++开发工具是非常有必要的，推荐Qt, 或者VC++，或者VSCode+CMake. 三者都行。 Qt为什么首推荐，因为开源，当你有时候遇到一个小问题，而没头绪的时候，你可以去看看Qt源码里面怎么解决的。尤其是你周围没有什么人跟你讨论的时候，一些好的开源项目，比如Qt,WebRTC，都可能找到很好的思路，将好的理念借鉴.