滤镜开发（一） 开篇：关于滤镜

Android滤镜开发（一） 开篇：关于滤镜

滤镜

一般是由玻璃，树脂和聚碳酸酯等制成的物体，用来处理相机等传感器受到外界环境的影响，或者达到某种视觉效果。对于现在数字时代的图像，我们可以通过算法处理来达到以前镜片的效果

Android平台上的滤镜开发

处理方式

java层：Bitmap像素点和矩阵操作；ColorMatrix等系统api
native层：使用c/c++本地语言，具有更高的性能，可操作java层传入的Bitmap数据

整体处理：即对整个图片处理，矩阵处理，ColorMatrix或者系统api
局部处理：特殊像素点的单个或局部处理

cpu处理：上述处理都是基于cpu的，cpu计算能力强，但核心少，并行差
gpu处理：核心多，并行强。Android系统上可使用opengl es来调用gpu加速，并行处理图像

1. 对于opengl，我们可以查阅相关资料，能做的事情，并不限于滤镜。
   他的核心工作方式，是几乎可以并行的处理图像像素点，而cpu一般只能串行的处理像素点

2. gpu处理，性能更好，更快。对于一张静态图像上，进行简单的滤镜处理，cpu方式还是可以胜任的。但对于相机滤镜和视频动态滤镜时，cpu可能出现明显的卡顿现象，这时就需要进行gpu滤镜处理，且能以胜任

3. 对与cpu的各种处理方式，我们通过Bitmap或者系统api，来进行各种滤镜算法的实现相对于gpu方式要简单一些，一般重点采用gpu的处理方式

4. 对于各种应用特效的实现方案，通常是，像素判断，整体像素判断处理，mask辅助图，各种图像处理学算法，颜色空间转换等

5. 滤镜处理图像的方式和思想在移动平台上有很多应用，比如图片滤镜，美颜美妆相机，动态贴纸， 视频特效等

相机数据的处理方式

1. YUV 不转换，直接由OpenGL绘制，采用Shader实现图像处理（因处理算法和渲染图片大部分
   采用RGB格式，此方案暂不考虑，仅提出可能性）

2. 通过C/C++实现YUV->RGB和图像处理，合成Bitmap，由CPU绘制在Canvas上

3. 通过C/C++实现YUV->RGB和图像处理，在NDK层直接绘制在SurfaceView上

4. 通过C/C++实现YUV->RGB，采用Shader实现图像处理，采用OpenGL绘制（android-gpuimage）

5. 通过Shader实现YUV->RGB和图像处理，采用OpenGL绘制

应用

1. 图片：对于一个图片，我们可以根据所需效果，依据上述方法进行各种处理

2. 视频：视频处理依据视频的来源，
   第一种是通过相机获取视频数据，通常是YUV格式，然后逐帧对其处理；
   第二种是，通过一张或多张素材图片，来进行滤镜处理，如转场，动画，幻灯片类似的处理，然后生成视频；
   第三种是，用户输入的源视频，通过MediaDecoder或者FFmpeg来获取视频帧处理
   注意：视频对帧率要求较高，不能出现卡顿

3. 相机滤镜：YUV视频数逐帧处理

4. 美颜美妆：
   对于单张静态图片，通过人脸识别，进行区域判断，进行美妆，上色等
   对于相机：通过对YUV视频数逐帧进行人脸识别，然后处理

5. 人脸动态贴纸：和美颜美妆处理方式相同

6. ……..其它应用

关于人脸识别方案

• 自己也能实现简单的人脸识别，但精度和速度，对于生产环境很苛刻，通常是购买三方服务。好在这些三方服务，目前有免费测试用，不过发布到应用市场，或其他商业应用，就需要购买服务了。 这些识别服务，以sdk的方式集成到apk包中，按时或者按次收费

后续

• 自己目前从事这方面的图像处理，希望通过此种方式，来进行这段时间的总结和系统化学习相关知识
• 以后会对以上各种思想方法和应用进行实现