前言
前面实现都是通过系统的框架来实现视频的实时滤镜采集(音视频采集笔记(二))，本文主要讲解通过第三方框架GPUImage2来实现视频的实时滤镜采集 (采集实现Demo)
GPUImage2使用Swift编写，是GPUImage框架的第二代，支持macOS、iOS和Swift代码的Linux或未来平台，GPUImage框架的源码全部公开，有兴趣的同学可以深入的研究一下
流程
1.创建Camera,绑定滤镜输出到renderView，开始捕捉数据
2.创建自定义视图
3.开始录制，通过MovieOutput写入数据
- 创建Camera，绑定滤镜输出到renderView，开始捕捉数据
var fliters = [SketchFilter(), ThresholdSobelEdgeDetection(), ThresholdSketchFilter()] as [Any]
var camera : Camera!
var fliter : BasicOperation!
fileprivate lazy var renderView : RenderView = {
let renderView = RenderView(frame: CGRect(x: 0, y: 0 , width: SCREEN_WIDTH, height: SCREEN_HEIGHT))
return renderView
}()
fileprivate func setUpCamera() {
view.addSubview(renderView)
do {
// 创建一个Camera的实例，Camera遵循ImageSource协议，用来从相机捕获数据
camera = try Camera(sessionPreset: .hd1280x720)
// 绑定处理链
camera --> fliter --> renderView
// 开始捕捉数据
camera.startCapture()
} catch {
}
}
-->运算符
-->是GPUImage2定义的一个中缀运算符，它将两个对象像链条一样串联起来，用起来像是这样：
camera --> basicOperation --> renderView
左边的参数遵循ImageSource协议，作为数据的输入，右边的参数遵循ImageConsumer协议，作为数据的输出。这里的basicOperation是BasicOperation的一个实例，其父类ImageProcessingOperation同时遵循ImageSource和ImageConsumer协议，所以它可以放在-->的左边或右边。-->的运算是左结合的，类似于GPUImage中的addTarget方法，但是-->有一个返回值，就是右边的参数。在上面的示例中，先计算了前半部camera --> basicOperation，然后右边的参数basicOperation作为返回值又参与了后半部basicOperation --> renderView的计算。
-->体现了链式编程的思想，让代码更加优雅，在GPUImage2有着大量运用，这得益于Swift强大的语法，关于Swift中的高级运算符
- 创建自定义视图
var videoCustomView = VideoCustomView()
fileprivate func setUpUI() {
videoCustomView.delegate = self
view.addSubview(videoCustomView)
videoCustomView.snp.makeConstraints { (make) in
make.edges.equalTo(UIEdgeInsets(top: 0, left: 0, bottom: 0, right: 0))
}
}
- 开始录制，通过MovieOutput写入数据
func clickPlayButton(isPlay: Bool) {
if isPlay {
do {
// 移除之前存储的数据
removeData()
let videoCompressionSettings = [AVVideoCodecKey : AVVideoCodecType.h264,
AVVideoScalingModeKey : AVVideoScalingModeResizeAspectFill,
AVVideoWidthKey : 200,
AVVideoHeightKey : SCREEN_WIDTH] as [String : Any]
movieOutPut = try MovieOutput(URL: videoFileUrl, size: Size(width: Float(200), height: Float(SCREEN_WIDTH)), fileType: .mov, liveVideo: true, settings: videoCompressionSettings as [String : AnyObject])
// 设置音频
camera.audioEncodingTarget = movieOutPut
fliter --> movieOutPut
// 开始写入数据
movieOutPut.startRecording()
videoCustomView.startDisplayLink()
} catch {
}
} else {
movieOutPut.finishRecording {
// 清空回到初始状态
self.reset()
}
}
}
滤镜切换
func selectFliterType(fliterType: String) {
fliter.removeAllTargets()
camera.removeAllTargets()
fliter = fliters[2] as? BasicOperation
camera --> fliter --> renderView
}
相机方向切换
func switchCamera() {
self.camera.location = self.camera.location == .backFacing ? .frontFacing : .backFacing
}
GPUImage2作者提供了这个location属性，来改变相机方向切换，但是作者只留了位置，需要去源码里修改，具体实现如下
public var location:PhysicalCameraLocation {
didSet {
guard let newVideoInput = try? AVCaptureDeviceInput(device: location.device()!) else { return }
self.captureSession.beginConfiguration()
self.captureSession.removeInput(self.videoInput)
self.captureSession.addInput(newVideoInput)
captureConnection = self.videoOutput.connection(with: .video)
if captureConnection.isVideoOrientationSupported {
captureConnection.videoOrientation = .portrait
}
captureConnection.isVideoMirrored = location == .frontFacing
self.captureSession.commitConfiguration()
self.videoInput = newVideoInput
}
}
扩展
GPUImage2 还有很多功能，如图片，视频增加滤镜等, 以及一百多种滤镜，详情可以参考官方Demo