iOS ReplayKit实时录制屏幕实现方案的细节记录

项目有个需求,需要把ios设备上的操作画面实时传输出去,也就是类似推流手机直播画面的方案。

一番调研后发现在ios中,我们可以通过ios自带ReplayKit框架实现。

 

关于ReplayKit的讲解,这篇文章写的很好,可以看一下

iOS端使用replaykit录制屏幕的技术细节

文章详细介绍了ReplayKit的发展历程,从ios9~ios12的每个版本的功能迭代都有写,包括如何录制当前app内容,还是制系统层次的内容等。

 

不过由于我的需求是只录制当前App内容,所以下面只讲解这方面的。

 

我的测试demo流程大概这样

1、通过ReplayKit开启录屏

2、实时获取视频流CMSampleBuffer

3、对CMSampleBuffer处理发包或推流

 

为了效果快速呈现,这里我采取udp发包来传输内容

 

以下代码仅供参考逻辑。

1、开启录屏

/// 开启录制屏幕
    func startRecord()  {
        
        if !RPScreenRecorder.shared().isAvailable{
            print("暂不支持xxx功能")
            return
        }
        
        if #available(iOS 11.0, *) {
            printDebug(message: "start record")
            if _udpSocket == nil{
          //初始化udp initUdp() connectUdp() queneConvertImage
= DispatchQueue(label: "teacher.show.quene") } isScreenRecording = true weak var weakself = self //该方法只能录当前app,如果需要录系统的,用broadcastxxx那个方法 RPScreenRecorder.shared().startCapture(handler: { (sampleBuffer, sampleBufferType, error) in if error == nil{ if CMSampleBufferDataIsReady(sampleBuffer) && sampleBufferType == RPSampleBufferType.video{ weakself?.queneConvertImage.async { weakself?.getUIImageFromCMSampleBuffer(sampleBuffer: sampleBuffer) } } }else{ printDebug(message: error.debugDescription) } }) { (finishError) in } } else { // Fallback on earlier versions print("xxx功能需要ios11版本及以上") } }

2、对视频文件进行处理

func getUIImageFromCMSampleBuffer(sampleBuffer:CMSampleBuffer){
       
        /*
         关于两种压缩系数结果测试如下:
         UIImageJPEGRepresentation:
         0.01-63000  0.1-63000   0.2-67000  0.3-73000  0.4-85000  0.5-97000  0.6-110000  0.9-150000  1-290000
         UIImagePNGRepresentation:220000
         
         */
        
        let image1 = K12SampleBufferTool.image(from: sampleBuffer)
        if let data = UIImageJPEGRepresentation(image1!, 0.1),_udpSocket != nil{
            //两次包相同,就忽略本次发送
            if lastBufferlen > 0 && fabs(Double(lastBufferlen - data.count)) < 100{
                return
            }
            lastBufferlen = data.count
            compressData(data: data, image: image1!)
            
        }
    }

    /// 压缩图片发送
    ///
    /// - Parameters:
    ///   - odata: <#odata description#>
    ///   - image: <#image description#>
    func compressData(data:Data,image:UIImage){
     //质量压缩符合大小
if data.count < maxLength{ printDebug(message: "--- data:\(data) ") _udpSocket?.send(data, withTimeout: -1, tag: 0) return } let rate : Double = data.count > maxLength * 2 ? 1.0/Double(data.count/maxLength) : 0.5

     //采用size压缩再次处理 if let d = UIImageJPEGRepresentation(image.compress(with: rate), 0.0),_udpSocket != nil{ //压缩过还超过最大值,就不发送 if d.count > maxLength{ return } printDebug(message: "----data:\(data) ------compressdata.size:\(d)") _udpSocket?.send(d, withTimeout: -1, tag: 0) } }

 

buffer转iamge的方法

+ (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer{
    
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    CGImageRef image = NULL;
    if (@available(iOS 9.0, *)) {
        OSStatus createdImage = VTCreateCGImageFromCVPixelBuffer(imageBuffer, NULL, &image);
        UIImage * image1 = nil;
        if (createdImage == noErr) {
            image1 = [UIImage imageWithCGImage:image];
        }
        CGImageRelease(image);
        return image1;
    } else {
        return nil;
    }
   
}
View Code

 

以上是简单的测试,udp发送这块可以自行修改自己的逻辑。到这里,内容发出去了

 

3、停止录制

/// 停止录制屏幕
    func stopRecord() {
        if #available(iOS 11.0, *) {
            printDebug(message: "stop record")
            isScreenRecording = false
            RPScreenRecorder.shared().stopCapture { (error) in
                if error != nil{
                    printDebug(message: "stopRecord success")
                }
            }
        } else {
            // Fallback on earlier versions
        }
        
        //关闭udp
        nilSocket()
    }

 

结束之后记得调用一下关闭方法。

 

总结:

1、由于是采取图片方式udp发送,在CMSampleBuffer转image过程还是比较耗cpu的,但是,录屏本事对cpu和内存对占用是极少的。

2、CMSampleBuffer的大小是根据画面色彩度来的,如果画面色彩很多,bytes会比较大。

3、如果不需要实时录制,可以采用提供的结束统一获取视频的方式,那种更简单。

4、用这个方法实时录制需要ios11系统,这点是个硬伤;但关于另一个录制系统方法,好像ios10就可以了,不过这种实现方式,用户感知比较明显,具体看上文的文章连接。

5、录屏必须真机测试。

 

 

你可能感兴趣的:(iOS ReplayKit实时录制屏幕实现方案的细节记录)