开源框架GPUImage结构分析

    GPUImage是IOS上基于opengl的图像、视频处理开源框架,里面带有大量的滤镜,同时也很方便在原有基础上加入自己的滤镜Filter,所有滤镜是基于opengl shader实现的,所以滤镜效果图像处理是在GPU上实现的,处理效率比较高,在iPhone6及其以上手机,可以做到实时流畅的效果。

    GPUImage基本架构是chain式结构,主要由一个GPUImageOutput interface和一个GPUImageInput protocol串联起来,GPUImageOutput输出Texture,GPUImageInput输入Texture,整个链式图像数据传递由Texture担当。camera,stillimage等图像、视频sources继承自GPUImageOutput,滤镜Filters继承自GPUImageOutput并实现GPUImageInput,View,FileWriter等Outputs实现GPUImageInput,大致结构如下图:

    开源框架GPUImage结构分析_第1张图片

    要弄清里面的Chains结构,他们是如何串联起来,我们首先需要对GPUImageOutput interface和GPUImageInput protocol进行剖析,相关类图简单表示如下:

                    开源框架GPUImage结构分析_第2张图片   

    先来看GPUImageOutput,里面有两个很重要的变量:GPUImageFramebuffer指针类型的outputFramebuffer和NSMutableArray指针类型的targets,四个接口重要接口:notifyTargetAboutNewOutputTexture、setInputFramebufferForTartget、addTarget和removeTarget,下面分别来看看。

    outputFramebuffer变量主要是负责管理GPUImageOutput(包括Sources和Filters)产生的Texture。texture为其代表输出的Texture的index。missingFramebuffer,决定是否生成RenderBuffer,由初始化函数initWIthSize参数是onlyGenerateTexture决定,如果是YES,内部只产生Texture,比如假设源GUPImageVideocamera采集到的视频数据是RGB数据,直接用glTextImage2D更新纹理,如果为NO,则生成Texture的同时生成Framebuffer,Texture更新方式通过RendFramebuffer来实现,如果GUPImageVideocamera采集到的数据为YUV时,通过opengl实现YUV到到RGB的转化,用Texture绑定到Framebuffer的方式更新Texture,所有的Filters都是采用Framebuffer更新方式,因为需要用opengl进行图像处理。pixelBuffer用一个CVPixelBuffer类型变量,主要用来实现GPU和CPU之间的数据高效共享,这样pixelBuffer数据和texture纹理数据同步更新,便于在CPU和GPU端同时高效访问,见我之前的博客链接https://blog.csdn.net/CMSHAO/article/details/80069503。

    targets变量主要是负责管理GPUImageOutput下游GPUImageInput,也就是链接到该GPUImageOutput上的GPUImageInput集合,通过接口addTarget和RemoveTarget来进行管理下游GPUImageInput。

    setInputFramebufferForTartget就是将GPUImageOutput生成的outputFramebuffer设置给下游GPUImageInput target,这样下游GPUImageInput就是在上游GPUImageOutput处理后texture上做处理。

    notifyTargetAboutNewOutputTexture该函数就是在上游GPUImageOutput处理完后,对targets每一个下游GPUImageInput循环调用setInputFramebufferForTartget,完成texture传递。

    通过上述变量和接口,基本上可以懂得GPUImageOutput做了什么工作,基本上就是通过opengl对图像做处理,所处理的结果存在了outputFramebuffer管理的texture纹理上,并在处理完后,通过notifyTargetAboutNewOutputTexture接口将texture结果传递给下游GPUImageInput。

    现在我们来看看GPUImageInput协议,主要有setInputFramebuffer和newFrameReadyAtTime两个接口。setInputFramebuffer正是GPUImageOutput执行setInputFramebufferForTartget调用的,将处理后的texture传递下来。newFrameReadyAtTime紧着跟着setInputFramebuffer被调用,驱动GPUImageInput进行处理。

    上述文字表示转化成图示如下:

    开源框架GPUImage结构分析_第3张图片

    这样sources继承GPUImageOutput,filters继承GPUImageOutput和实现GPUImageInput,outputs实现GPUImageInput,一条图像处理数据链就形成了。

参考链接:

    GPUImage:https://github.com/BradLarson/GPUImage

    GPUImage For Android: https://github.com/wysaid/android-gpuimage-plus

你可能感兴趣的:(开源框架GPUImage结构分析)