1. iOS 游戏直播方案简介
-
iOS 9 之前可以通过私有框架 CoreSurface.framework 来实现录制屏幕。因为用了私有框架，只能通过企业包的形式安装到用户设备中，这种方法的优点是效率很高，但是无法获取游戏声音，只能通过麦克风录制外放的声音。
-
iOS 9 以后，苹果去掉了 CoreSurface, 因此，上面的方法彻底失效。iOS 9 发布以后的很长一段时间，都没有办法录屏直播。 后来大家另辟蹊径，通过破解 AirPlay 投屏协议的方式实现，在手机上虚拟一个 AirPlay Server 来接受屏幕镜像， 然后解码后再直播。目前 大部分直播平台都是直接接入第三方 SDK，如乐播, xindawn。 这种方案的缺点是 每次 iOS 系统升级，对应的 Airplay Mirroring协议会更新，破解成本高，技术门槛比较高。
-
iOS 10 中苹果提供 ReplayKit 了，可以在游戏中实现录屏直播，但是需要游戏厂商支持通用性很低。所以基本上各大厂商基本上还是采用 Airplay的模式。
-
iOS 11 苹果增强为ReplayKit2 提供了更通用的桌面级录屏方案，本文接下来会着重介绍这种方案。
2. ReplayKit2 概述
录屏功能是 iOS 10 新推出的特性，苹果在 iOS 9 的 ReplayKit 保存录屏视频的基础上，增加了视频流实时直播功能，官方介绍见 Go Live with ReplayKit。iOS 11 增强为 ReplayKit2，进一步提升了 Replaykit 的易用性和通用性，并且可以对整个手机实现屏幕录制，而非某些做了支持ReplayKit功能的App，因此录屏推流建议直接使用iOS11的ReplayKit2屏幕录制方式。系统录屏采用的是扩展方式，扩展程序有单独的进程，iOS 系统为了保证系统流畅，给扩展程序的资源相对较少，扩展程序内存占用过大也会被 Kill 掉。
3. 部分关键功能实现
# 系统回调处理
- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
KSYRKStreamerKit* kit = [KSYRKStreamerKit sharedInstance];
switch (sampleBufferType) {
case RPSampleBufferTypeVideo: {
CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
pixelBuffer = [kit resizeAndRotatePixelBuffer:pixelBuffer];
CMTime pts = CMSampleBufferGetPresentationTimeStamp(sampleBuffer);
if (sampleBuffer) {
[kit.streamerBase processVideoPixelBuffer:pixelBuffer timeInfo:pts];
_tempVideoPts = pts;
_tempVideoPixelBuffer = pixelBuffer;
_tempVideoTimeStamp = [[NSDate date] timeIntervalSince1970];
}
}
break;
case RPSampleBufferTypeAudioApp:
[kit mixAudio:sampleBuffer to:kit.appTrack];
break;
case RPSampleBufferTypeAudioMic:
[kit mixAudio:sampleBuffer to:kit.micTrack];
kit.streamerBase.bWithAudio = YES;
self.hasMicVoice = YES;
break;
default:
break;
}
}
复制代码4. 部分已知问题及解决方案
4.1 屏幕帧方向
系统回调回来的视频帧都是竖屏的全尺寸图像，我们需要对其进行处理
- (CVPixelBufferRef)resizeAndRotatePixelBuffer:(CVPixelBufferRef)sourcePixelBuffer {
CIImage *outputImage;
if (self.privacyMode) {
outputImage = self.privacyImage;
} else {
//11.1以上支持自动旋转
#ifdef __IPHONE_11_1
if (UIDevice.currentDevice.systemVersion.floatValue > 11.1) {
CGImagePropertyOrientation oritation = ((__bridge NSNumber*)CMGetAttachment(sampleBuffer, (__bridge CFStringRef)RPVideoSampleOrientationKey , NULL)).unsignedIntValue;
if (oritation != self.lastOritation) {
self.lastOritation = oritation;
if (oritation == kCGImagePropertyOrientationLeft) {
[kit setVideoOrientation:UIDeviceOrientationLandscapeLeft];
} else if (oritation == kCGImagePropertyOrientationRight) {
[kit setVideoOrientation:UIDeviceOrientationLandscapeRight];
}
}
}
#endif
CIImage *sourceImage = [CIImage imageWithCVPixelBuffer:sourcePixelBuffer];
sourceImage = [sourceImage imageByApplyingOrientation:cvMobileRotate];
CGFloat outputWidth = self.videoSize.width;
CGFloat outputHeight = self.videoSize.height;
CGFloat inputWidth = sourceImage.extent.size.width;
CGFloat inputHeight = sourceImage.extent.size.height;
// float scale = MIN(outputWidth/inputWidth, outputHeight/inputHeight);
CGAffineTransform tranfrom = CGAffineTransformMakeScale(outputWidth/inputWidth, outputHeight/inputHeight);
outputImage = [sourceImage imageByApplyingTransform:tranfrom];
}
if (!outputPixelBuffer) {
//推流
NSDictionary* pixelBufferOptions = @{
(NSString*) kCVPixelBufferWidthKey : @(self.videoSize.width),
(NSString*) kCVPixelBufferHeightKey : @(self.videoSize.height),
(NSString*) kCVPixelBufferOpenGLESCompatibilityKey : @YES,
(NSString*) kCVPixelBufferIOSurfacePropertiesKey : @{}
};
CVReturn ret = CVPixelBufferCreate(kCFAllocatorDefault, self.videoSize.width, self.videoSize.height, kCVPixelFormatType_32BGRA, (__bridge CFDictionaryRef)pixelBufferOptions, &outputPixelBuffer);
if (ret!= noErr) {
NSLog(@"创建streamer buffer失败");
outputPixelBuffer = nil;
return outputPixelBuffer;
}
}
if (cicontext) {
[cicontext render:outputImage toCVPixelBuffer:outputPixelBuffer bounds:outputImage.extent colorSpace:CGColorSpaceCreateDeviceRGB()];
}
return outputPixelBuffer;
}
复制代码4.2 隐私模式的实现
在直播过程中比如要切换到QQ，或者输入密码等操作，不方便给观众看到，就需要用到隐私模式，用一张或多张图片来代替屏幕截屏。
# UIImage 图片转成 CIImage 然后可以调整大小和方向，直接通过 CIContext 渲染到 CVPixelBufferRef 中
UIImage *privacyImage = [UIImage imageNamed:privacyImageName];
CIImage *sourceImage = [[CIImage alloc] initWithImage:privacyImage];
复制代码4.3 某些情况下视频帧不回调
缓存上一个视频帧，根据推流的fps适当的补帧
4.4 弹幕和礼物信息的显示
弹幕和礼物信息的显示有两种方案：
1、是在主 App 中，建立 Socket 连接，收到消息后，创建本地通知，显示礼物和弹幕，大部分直播应用采用这种方式比较多，对原来弹幕系统的改造比较小。
2、类似企鹅电竞的做法，通过Apns 远程推送通知的方式，实现弹幕礼物通知。
4.5 后台保活
采用第一种弹幕就涉及到主App的后台保活问题：
常用的几种后台保活方式：VOIP，后台定位，播放空白声音。
考虑到耗电和上线审核的问题，我们目前采用的是利用background task 播放空白声音。
# 创建 background task
self.taskIdentifier = [[UIApplication sharedApplication] beginBackgroundTaskWithExpirationHandler:^{
[[UIApplication sharedApplication] endBackgroundTask:weakSelf.taskIdentifier];
weakSelf.taskIdentifier = UIBackgroundTaskInvalid;
}];
# 播放背景音乐
self.taskTimer = [NSTimer scheduledTimerWithTimeInterval:20.0f repeats:YES block:^(NSTimer * _Nonnull timer) {
if ([[UIApplication sharedApplication] backgroundTimeRemaining] < 61.f) {
//创建播放器
AVAudioSession *session = [AVAudioSession sharedInstance];
[session setActive:YES error:nil];
[session setCategory:AVAudioSessionCategoryPlayback withOptions:AVAudioSessionCategoryOptionMixWithOthers error:nil];
AVAudioPlayer *audioPlayer = [[AVAudioPlayer alloc] initWithContentsOfURL:weakSelf.musicUrl error:nil];
[audioPlayer prepareToPlay];
[audioPlayer play];
[[UIApplication sharedApplication] beginBackgroundTaskWithExpirationHandler:nil];
}
}];
复制代码4.6 部分游戏无声音
腾讯系的游戏，例如王者荣耀，刺激战场，在 先开游戏，再开直播的情况下，会出现主播无法听到游戏声音的问题。
原因是我们利用 AVAudioPlayer 后台保活，我们设置了 AVAudioSession 的 Option 为 AVAudioSessionCategoryOptionMixWithOthers 保证能和其他应用共用扬声器，但是这属性会导致 已经在播放的非Mix的声音被停止。
解决的方案只能是告知用户，先打开直播，再进入游戏，这样后播放的声音才不会有问题。
4.7 锁屏后录屏断开
这个问题没有很好的解决办法，只能在断开以后创建通知告知用户。
5. 参考
- 腾讯云文档-游戏录屏（ReplayKit）
- replaykit2 直播踩坑总结
- iOS11 ReplayKit2 问题总结