在上一篇文章中介绍了GPUImage框架中的核心载体GPUImageFrameBuffer
,在接下来的文章中,我们将介绍如何使用这个载体实现渲染和传递。本文将重点介绍GPUImage中的一个非常重要的基类GPUImageOutput
和一个协议GPUImageInput
。基本上所有重要的GPUImage处理类都是GPUImageOutput
的子类,它实现了一个输出的基本功能。
同样的,基本上所有的GPUImage处理类也都遵循GPUImageInput
协议。它定义了一个能够接收frameBuffer的接收者所必须实现的基本功能。主要包括:
*接收上一个GPUImageOutput
的相关信息;
*接收并处理上一个GPUImageOutput
渲染完成的通知;
GPUImageOutput
GPUImageOuput
实现了一些作为一个Output的基本功能,主要包括:
- 生成,管理到
GPUImageFrameBuffer
; - Target的添加以及管理,用来生成整个FilterChain;
- 产出一个渲染的结果;
GPUImageFrameBuffer的管理
每个GPUImageOutput都会包含一个自己的GPUImageFrameBuffer对象;可以通过outputFrameBuffer
方法获得。这个FrameBuffer对象就是当前Output渲染的对象。
这个FrameBuffer对象不是一直存在的,而是当这个Output需要进行渲染的时候,才会从GPUImageFrameBufferCache
中取一个。因此,并不是随时都能够获得一个GPUImageFrameBuffer对象的。一般情况下,当渲染完毕并且通知了FilterChain中的下一个target之后,就会被remove掉,并且归还给GPUImageFrameBufferCache
以供重用。
与FrameBuffer相关的方法有:
- (void)setInputFramebufferForTarget:(id)target atIndex:(NSInteger)inputTextureIndex;
这个方法的调用发生在当前output渲染完毕后,需要通知下一个receiver可以开始渲染的时候,把当前Output的FrameBuffer传递给下一个Input,让它可以使用这个FrameBuffer的结果进行渲染。
- (GPUImageFramebuffer *)framebufferForOutput;
这个方法可以获得当前正在渲染的frameBuffer,但是这个方法更大的用处是给子类提供一个覆盖的接口。子类可以通过覆盖这个方法,来提供输出的frameBuffer。因为有一些多个pass的滤镜可能会有多个FrameBuffer。
- (void)removeOutputFramebuffer;
这个方法用来移除当前渲染的frameBuffer,同样,这个方法更大的用处是给子类提供一个移除当前FrameBuffer的机会。
Target的管理
GPUImageOutput
既然作为一个输出,那么自然就应该有对应的接受者来接受这个FrameBuffer并且使用这个Output处理的结果进行渲染。这些接受者我们都将它称之为target。每个Target都是一个实现了GPUImageInput
协议的对象。这些对象可以接收FrameBuffer,处理当前Output渲染完毕的通知等等。GPUImageInput
会在接下来的解析中详细介绍。
与Target管理相关的方法有:
- (NSArray*)targets;
这个方法可以获取到当前Output所有的target。每个Output都可以添加多个target,当这个Output渲染完成之后,每个target都会收到通知。
- (void)addTarget:(id)newTarget;
- (void)addTarget:(id)newTarget atTextureLocation:(NSInteger)textureLocation;
这两个addTarget方法的作用都是将下一个实现了GPUImageInput
协议的对象添加到FilterChain当中来。在一个GPUImageInput
被添加到FilterChain之后,它做的主要事情包括:将当前Output的outputFrameBuffer
作为input传递给这个GPUImageInput
对象;设置这个outputFrameBuffer
所在的TextureLocation。TextureLocation的作用是:有些可以同时接受多个Input的对象,它要将不同的frameBuffer的texture绑定到不同的位置上。因为每个GL_TEXTURE
同时只能接受一个texture的绑定。
[self setInputFramebufferForTarget:newTarget atIndex:textureLocation];
[targets addObject:newTarget];
[targetTextureIndices addObject:[NSNumber numberWithInteger:textureLocation]];
移除Targets:
- (void)removeTarget:(id)targetToRemove;
- (void)removeAllTargets;
这两个方法的作用是将某一个或者所有的target都移出FilterChain。当一个target被移出FilterChain之后,它将不会再收到任何当前Output渲染完成的通知。
获取当前FrameBuffer的处理结果
GPUImageOutput
提供了一些从当前Output获得处理结果的方法,让使用者可以简单的获得处理的结果:
- (CGImageRef)newCGImageFromCurrentlyProcessedOutput;
- (CGImageRef)newCGImageByFilteringCGImage:(CGImageRef)imageToFilter;
- (UIImage *)imageFromCurrentFramebuffer;
- (UIImage *)imageFromCurrentFramebufferWithOrientation:(UIImageOrientation)imageOrientation;
- (UIImage *)imageByFilteringImage:(UIImage *)imageToFilter;
- (CGImageRef)newCGImageByFilteringImage:(UIImage *)imageToFilter;
其中最核心的方法是newCGImageFromCurrentlyProcessedOutput
,基本上所有的方法最终都调用了这个方法。但是GPUImageOutput
并没有为这个方法提供默认的实现,而是提供了一个方法定义。具体的实现在它的两个重要的子类GPUImageFilter
和GPUImageFilterGroup
中。而实际上最终调用的方法都在GPUImageFilter
中实现了,GPUImageFilterGroup
的实现实际上是调用了它的terminalFilter
中的实现。
在获取一个FilterChain中的一个GPUImageOutput
的处理结果时,有一个非常重要的方法需要调用:
- (void)useNextFrameForImageCapture;
在我们上一篇介绍GPUImageFrameBuffer
的文章中,我们说到了所有的FrameBuffer都是有引用计数的,当一个FrameBuffer的引用计数为零的时候,它会被归还到FrameBufferCache中。当一个GPUImageOutput
处于一个FilterChain中的时候,他渲染完成并且通知下一个input,当下一个input也渲染完成之后,这个FrameBuffer的引用计数就会为零,因此也会被释放掉。这个时候如果调用newCGImageFromCurrentlyProcessedOutput
方法的话,就会多次释放一个FrameBuffer导致Crash,或者获取不到这个FrameBuffer。
而useNextFrameForImageCapture
方法的左右就是:在渲染的时候,再调用一次GPUImageFrameBuffer
的lock
方法,强行将引用计数+1.这样这个FrameBuffer就会一直存在于这个Output中,可以用来进行渲染结果的获取。
GPUImageInput
GPUImageInput
协议是为了保证每一个接收GPUImageOutput
输出的对象都能够正确地处理对应的输入的。它的功能主要包括:
- 接收
GPUmageOutput
的输出信息; - 处理
GPUImageOutput
渲染完成的通知;
接收GPUImageOutput的输出信息
根据之前介绍的GPUImageOutput
,它添加的每一个Target都必须实现了GPUImageInput
协议。因此GPUImageInput
协议保证了所有实现它的对象都能够接收output的输出。主要输出信息包括:
- (void)setInputFramebuffer:(GPUImageFramebuffer *)newInputFramebuffer atIndex:(NSInteger)textureIndex;
- (NSInteger)nextAvailableTextureIndex;
- (void)setInputSize:(CGSize)newSize atIndex:(NSInteger)textureIndex;
- (void)setInputRotation:(GPUImageRotationMode)newInputRotation atIndex:(NSInteger)textureIndex;
GPUImageInput
可以接收的信息包括上一个Output输出的frameBuffer,frameBuffer的size以及rotation。同样的这些textureIndex
都是为了提供个需要多个input的Filter准备的。
处理GPUImageOutput渲染完成的通知
GPUImageOutput
在渲染完成之后,会通知它所有的targets,因此,GPUImageInput
需要实现下面这个方法来接收这个通知,并且开始自己的渲染:
- (void)newFrameReadyAtTime:(CMTime)frameTime atIndex:(NSInteger)textureIndex;
其中,参数frameTime
主要是给视频处理的时候使用的,当多个输入都是视频的时候,可以使用frameTime来确保多个输入是同步的;
本文主要介绍了GPUImage中最重要的基类和协议GPUImageOutput
和GPUImageInput
,它们具体的实现都在GPUImageFilter
以及GPUImageFilterGroup
中,我们会在接下来的解析中具体看看他们的实现。