GPUImage简单实用及碰到的问题

正式开始之前先介绍一下GPUImage,这是一款基于OpenGL ES 2.0的开源图像处理库。在iOS上将OpenGL ES的使用封装成Objective-C接口,可以用来给图像、相机视频、视频等添加滤镜等渲染操作。GPUImage一代已经不再维护,OC只能给iOS和Mac使用;同时有GPUImage2使用Swift(基于Swift 3)开发,可以给Mac, iOS和Linux使用;最新的GPUImage3仍在开发完善中,基于Swift4,并且将OpenGL ES替换成苹果的Metal,由于是苹果官方封装GPU方法,可以预见会比使用OpenGL ES的性能效率更高。本文使用的仍是第一代GPUImage。
接入GPUImage使用cocoapods直接接入就行,就不再赘述。下面是一个简单的滤镜使用:
GPUImage简单实用及碰到的问题_第1张图片
录制开始会有随机闪退问题,网上查了一下,大致是因为音频处理比视频处理快,当音频处理完直接callback去做渲染处理了,但这时视频这帧还没有加载完成,导致处理失败崩溃,网上有一个替换GPUImageMovieWriter.m源文件的方法来规避这个问题,但我尝试了一下仍然会发生,就不贴出来了。暂时也没有更好的办法来修复这个问题,由于时间紧迫,我采取只传递声音而取消写入视频中,使用ffmpeg进行音视频合成(或其他视频处理工具,因为本身项目有视频剪切使用了ffmpeg)。如果以后对这方面有更深入的了解和研究会继续更新如何解决这个问题。

PS: 说个题外关于视频编码问题,腾讯家的qq和微信SDK分享视频只能分享网络源无法分享本地源,但如果通过苹果系统自带的分享则可以分享视频。最新版部分视频会发生视频压缩失败的问题,无法上传。起先认为是视频编码问题,通过ffmpeg重新使用h264或者libx264都无法解决;后来发现那些无法通过腾讯系压缩的是音频重新合成过的,所以我对音频重新编码,使用的是网络上流媒体目前比较通用的aac,结果让我大失所望,还是不行!网上也找不到腾讯有关这两款分享视频所需要的编码问题,而如果我不通过ffmpeg进行编辑,原视频的H.264+aac就是好的,没有办法只能采取控制变量法来一个一个试编码。最后测出来是视频H.264没有问题,音频则需要使用ac3来进行编码才能通过。

你可能感兴趣的:(gpuimage)