用ffmpeg来处理音视频格式问题以及录屏的裸数据转mp4

文章是以实现iOS12+的录屏功能（RPSystemBroadcastPickerView）来进行阐述遇到的问题，后续也会继续补充相关技术点。方式是利用添加扩展（RPBroadcastSampleHandler）的方式来实现录屏功能，进而阐述如何使用ffmpeg进行视频格式的转码。本文难点有两点：1，扩展中获取到的原始数据CMSampleBufferRef如何传递到宿主App；2，宿主App接收到扩展（SampleHandler）传递的视频流如何对其进行硬编码，最后实现格式转码。

添加扩展，调取系统录屏的方法

添加扩展

自动生成的扩展文件

• 录屏的方法

// 开始录屏
- (void)broadcastStartedWithSetupInfo:(NSDictionary *)setupInfo {

//    // 监听 绑定socket
    [[HYLocalServerBufferSocketManager defaultManager] setupSocket];

    // 开始录屏时发出通知
    [self sendNotificationForMessageWithIdentifier:@"broadcastStartedWithSetupInfo" userInfo:nil];
}

// 暂停录屏
- (void)broadcastPaused {

    [[HYLocalServerBufferSocketManager defaultManager] disConnectSocket];
    [self sendNotificationForMessageWithIdentifier:@"broadcastPaused" userInfo:nil];
}

// 恢复录屏
- (void)broadcastResumed {

    [[HYLocalServerBufferSocketManager defaultManager] disConnectSocket];
    [self sendNotificationForMessageWithIdentifier:@"broadcastResumed" userInfo:nil];
}

// 结束录屏
- (void)broadcastFinished {

    [[HYLocalServerBufferSocketManager defaultManager] disConnectSocket];
    [self sendNotificationForMessageWithIdentifier:@"broadcastFinished" userInfo:nil];
}

// 这个方法是实时获取录屏直播,所以不要在这个方法中写发通知(同步),会造成线程阻塞的问题
- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
    switch (sampleBufferType) {
        case RPSampleBufferTypeVideo:
            @autoreleasepool { 
                [[HYLocalServerBufferSocketManager defaultManager] sendVideoBufferToHostApp:sampleBuffer];
            }
            break;
        case RPSampleBufferTypeAudioApp:
            break;
        case RPSampleBufferTypeAudioMic:
            // Handle audio sample buffer for mic audio
            break;
            
        default:
            break;
    }
}

• 录屏的唤起方法

    if (@available(iOS 12.0, *)) {

        RPSystemBroadcastPickerView *broadcastPickerView = [[RPSystemBroadcastPickerView alloc] initWithFrame: [UIScreen mainScreen].bounds];
        broadcastPickerView.showsMicrophoneButton = YES;
        //你的app对用upload extension的 bundle id， 必须要填写对
        if (@available(iOS 12.0, *)) {
            broadcastPickerView.preferredExtension = @"com.hyTechnology.ffmpegDemo.XIBOBroadcastUploadExtension";
        }
        // 间接移除系统录屏自带的录屏按钮
        for (UIView *view in broadcastPickerView.subviews) {
            if ([view isKindOfClass:[UIButton class]])  {
                [(UIButton*)view sendActionsForControlEvents:UIControlEventTouchUpInside];
            }
        }
    }

上面就正式完成了iOS12+唤起系统自带录屏功能的扩展及调用方式

数据传递方式

• local socket
• 通知（CFNotificationCenterRef）// 进程间的通知方式，由于扩展和宿主App分别是两个独立的运行模块，所以是两个进程。
• App Group

注意点：利用CFNotificationCenterRef的方式传递数据时，无法传递实时采集的原始数据, 所以我这里利用通知来传递录屏的状态， 有可能是自己方式不对，后续继续深入去了解... 。

方式一：通知方式传递

void NotificationCallback(CFNotificationCenterRef center,
                                   void * observer,
                                   CFStringRef name,
                                   void const * object,
                                   CFDictionaryRef userInfo) {
    NSString *identifier = (__bridge NSString *)name;
    NSObject *sender = (__bridge NSObject *)observer;
    // 使用通知打印的userInfo为空， 这里我传的是采集的原始帧数据
//    NSDictionary *info = (__bridge NSDictionary *)userInfo;
//    NSDictionary *infoss= CFBridgingRelease(userInfo);
    NSDictionary *notiUserInfo = @{@"identifier":identifier};
    [[NSNotificationCenter defaultCenter] postNotificationName:ScreenHoleNotificationName
                                                        object:sender
                                                      userInfo:notiUserInfo];
}

方式二：local socket

这种方式是参照阿里云的智能双录质检的帮助中心 iOS屏幕共享使用说明的文档。socket是一对套接字，服务端的套接字运行在扩展中，客户端的套接字运行在宿主App中。服务端的socket会先将CMSampleBufferRef转为 CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);最后利用NTESI420Frame将CVPixelBufferRef转为NSData发给对应得Host App的socket。

• 1，创建服务端和客户端的socket。
• 2，服务端的socket将采集到的CMSampleBufferRef原始帧视频转为NSData格式发给客户端的socket。
• 3，客户端的socket接收到数据后再对数据进行解码得到原始帧数据CMSampleBufferRef。

利用ffmpeg进行裸帧数据的格式编码

• 安装ffmpeg

1， 安装过程Homebrew
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2， 安装 gas-preprocessor
sudo git clone https://github.com/bigsen/gas-preprocessor.git /usr/local/bin/gas
sudo cp /usr/local/bin/gas/gas-preprocessor.pl /usr/local/bin/gas-preprocessor.pl
sudo chmod 777 /usr/local/bin/gas-preprocessor.pl
sudo rm -rf /usr/local/bin/gas/

3， 安装 yams
brew info yasm

4， 下载ffmpeg
brew install ffmpeg

5，进入文件执行下列命令
./build-ffmpeg.sh

注意： 再install ffmpeg的时候可能会失败（eg：下图1），按照提示install 即可，成功之后重新install ffmpeg

install ffmpeg 失败 1

安装成功后自动生成的文件

iOS集成ffmpeg

当我们下载ffmpeg脚本后进入文件夹使用./build-ffmpeg.sh就会自动生成FFmpeg-iOS等文件(如下图)。

编译过后生成的ffmpeg文件

• 第一步：将FFmpeg-iOS文件夹拖进工程
• 第二步：配置头文件的搜索路径在工程文件->Bulid Setting->Search Paths->Header Search Paths添加"$(SRCROOT)/ffmpegDemo/FFmpeg-iOS/include"

• 第三部：配置静态库等文件

  
  
  配置静态库等文件

• 第四部： 添加fftools文件夹，tools文件中不是所有的都需要，按自己需求添加

  
  
  fftools
• 第五步：#import "ffmpeg.h"并在工程中写入av_register_all();后？commond+B编译一下,这里会某些文件找不到的报错，可直接到编译后的脚本文件夹中

例如：config.h文件找不到，可以到下图的文件夹中添加即可，其他同理
#include "libavutil/thread.h"
#include "libavutil/reverse.h"
#include "libavutil/libm.h"
#include "libpostproc/postprocess.h"
#include "libpostproc/version.h"
#include "libavformat/os_support.h"
#include "libavcodec/mathops.h"
#include "libavresample/avresample.h"
#include "compat/va_copy.h" 
#include "libavutil/internal.h"

编译文件中的config文件

如果项目不要用到相关的文件，可以直接注释错误
eg: // #include "libavutil/internal.h"

ffmpeg的格式转换

    NSString *fromFile = [[NSBundle mainBundle]pathForResource:@"videp.mp4" ofType:nil];
    
    NSString *toFile = @"/Users/Alex/output/source/video.gif";
    
    NSFileManager *fileManager = [NSFileManager defaultManager];
    if ([fileManager fileExistsAtPath:toFile]) {
        [fileManager removeItemAtPath:toFile error:nil];
    }
    char *a[] = {
        "ffmpeg", "-i", (char *)[fromFile UTF8String], (char *)[toFile UTF8String]
    };

    int result = ffmpeg_main(sizeof(a)/sizeof(*a), a);
    NSLog(@"这是结果 %d",result);
或

ffmpeg –i test.mp4 –vcodec h264 –s 352*278 –an –f m4v video.264              //转码为码流原始文件
ffmpeg –i test.mp4 –vcodec h264 –bf 0 –g 25 –s 352*278 –an –f m4v video.264  //转码为码流原始文件
ffmpeg –i test.avi -vcodec mpeg4 –vtag xvid –qsame test_xvid.avi            //转码为封装文件
//-bf B帧数目控制，-g 关键帧间隔控制，-s 分辨率控制

思路解析
我们在添加扩展后拿到的一般是CMSampleBufferRef格式的原始数据，而这种格式的数据不能进行进程间的直接传递，以及播放。所以需要进行处理和转码。
1，将CMSampleBufferRef格式转为.264（NSData）的格式
2，可以使用ffmpeg的转码将.264（NSData）转为MP4，需要注意的是设置的size，不对的话，可能会造成视频的拉伸或挤压。

将CMSampleBufferRef格式的帧数据转成mp4，并保存到沙盒中

思路：

• 1，利用socket、通知、AppGroup的方式将扩展中中实时采集的帧数据CMSampleBufferRef传递到宿主App中

  
  
  Snip20210912_9.png

• 2，利用AVCaptureSession、AVAssetWriter、AVAssetWriterInput将CMSampleBufferRef转为mp4, 并[图片上传中...(Snip20210912_7.png-aa8236-1631443458420-0)]
  利用NSFileManger保存到指定沙盒

- (void)startScreenRecording {
    
    self.captureSession = [[AVCaptureSession alloc]init];
    self.screenRecorder = [RPScreenRecorder sharedRecorder];
    if (self.screenRecorder.isRecording) {
        return;
    }
    NSError *error = nil;
    NSArray *pathDocuments = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
    NSString *outputURL = pathDocuments[0];
    self.videoOutPath = [[outputURL stringByAppendingPathComponent:@"demo是嗯嗯嗯是是"] stringByAppendingPathExtension:@"mp4"];
    NSLog(@"self.videoOutPath=%@",self.videoOutPath);
    
    self.assetWriter = [AVAssetWriter assetWriterWithURL:[NSURL fileURLWithPath:self.videoOutPath] fileType:AVFileTypeMPEG4 error:&error];
    
    NSDictionary *compressionProperties =
        @{AVVideoProfileLevelKey         : AVVideoProfileLevelH264HighAutoLevel,
          AVVideoH264EntropyModeKey      : AVVideoH264EntropyModeCABAC,
          AVVideoAverageBitRateKey       : @(1920 * 1080 * 11.4),
          AVVideoMaxKeyFrameIntervalKey  : @60,
          AVVideoAllowFrameReorderingKey : @NO};
    
    NSNumber* width= [NSNumber numberWithFloat:[[UIScreen mainScreen] bounds].size.width];
    NSNumber* height = [NSNumber numberWithFloat:[[UIScreen mainScreen] bounds].size.height];
    
    NSDictionary *videoSettings =
        @{
          AVVideoCompressionPropertiesKey : compressionProperties,
          AVVideoCodecKey                 : AVVideoCodecTypeH264,
          AVVideoWidthKey                 : width,
          AVVideoHeightKey                : height
          };
    
    self.assetWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:videoSettings];
    self.pixelBufferAdaptor =
    [[AVAssetWriterInputPixelBufferAdaptor alloc]initWithAssetWriterInput:self.assetWriterInput
                                              sourcePixelBufferAttributes:[NSDictionary dictionaryWithObjectsAndKeys:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA],kCVPixelBufferPixelFormatTypeKey,nil]];
    [self.assetWriter addInput:self.assetWriterInput];
    [self.assetWriterInput setMediaTimeScale:60];
    [self.assetWriter setMovieTimeScale:60];
    [self.assetWriterInput setExpectsMediaDataInRealTime:YES];
    
    //写入视频
    [self.assetWriter startWriting];
    [self.assetWriter startSessionAtSourceTime:kCMTimeZero];
    
    [self.captureSession startRunning];
    
}

• 3，开始录屏时初始化assetWriter，结束录屏时进行写入完成操作

  
  
  初始化assetWriter和完成

总结

整个过程中最简单的方式还是使用AppGroup的方式进行进程间的传值操作，通知方式CFNotificationCenterRef不能传递录屏的数据，所以在项目中使用通知是监听录屏的状态status。socket的方式需要用到GCDAsyncSocket,在套接字之间传的是NTESI420Frame转化的NSData,最后再转回为CMSampleBufferRef。类似剪映等产品的录屏应该都是使用AVAssetWriter、AVAssetWriterInput、AVAssetWriterInputPixelBufferAdaptor、AVCaptureSession来处理原始的帧数据后保存到沙盒中。