Android 云游戏实现
公司最近有和云游戏相关的业务，最开始采用的是virtualdisplay +mediacodec实现，屏幕视频录制编码推流。但是mediacodec编码有很多参数设置不了，而且云主机的cpu性能完完全全高于GPU 所以，就准备采用软件编码实现。基于X264+minicap实现也可以理解为把bitmap转为H264视频通过RTMP传输。
先看效果图：
云手机同步效果
先上流程图：
1 minicap :是一个高速的截图工具，具体如何安装使用可以查看github上的流程
2 数据解析：minicap提供了一个localsocket往外吐数据我们可以在Android端解析该数据，关键代码如下
private void getMinicapData() {
new Thread(new Runnable() {
@Override
public void run() {
try {
mMinicapClientSocket.connect(mAddr);
InputStream inputStream = mMinicapClientSocket.getInputStream();
long start = System.currentTimeMillis();
while (isLiving) {
byte[] buffer = new byte[FRAME_SIZE];
int realLen = inputStream.read(buffer);
if (buffer.length != realLen) {
buffer = subByteArray(buffer, 0, realLen);
}
int len = buffer.length;
for (int cursor = 0; cursor < len; ) {
int byte10 = buffer[cursor] & 0xff;
if (readBannerBytes < bannerLength) {
cursor = parserBanner(cursor, byte10);
} else if (readFrameBytes < 4) {
// 第二次的缓冲区中前4位数字和为frame的缓冲区大小
frameBodyLength += (byte10 << (readFrameBytes * 8)) >>> 0;
cursor += 1;
readFrameBytes += 1;
Log.i(TAG, "解析图片大小 = " + readFrameBytes);
} else {
if (len - cursor >= frameBodyLength) {
Log.i(TAG, "frameBodyLength = " + frameBodyLength);
byte[] subByte = subByteArray(buffer, cursor,
cursor + frameBodyLength);
frameBody = byteMerger(frameBody, subByte);
if ((frameBody[0] != -1) || frameBody[1] != -40) {
Log.i(TAG, String.format("Frame body does not start with JPG header"));
return;
}
final byte[] finalBytes = subByteArray(frameBody, 0, frameBody.length);
// 转化成bitmap
mBitmap = BitmapFactory.decodeByteArray(finalBytes, 0, finalBytes.length);
// 这里开始推送
mLivePusher.native_push_video(miniCapRGBChange.getYUVByBitmap(mBitmap));
long current = System.currentTimeMillis();
Log.i(TAG, "图片已生成,耗时: "
+ TimeUtil.formatElapsedTime(current
- start));
start = current;
cursor += frameBodyLength;
restore();
} else {
Log.i(TAG, "所需数据大小 : " + frameBodyLength);
byte[] subByte = subByteArray(buffer, cursor, len);
frameBody = byteMerger(frameBody, subByte);
frameBodyLength -= (len - cursor);
readFrameBytes += (len - cursor);
cursor = len;
}
}
}
}
} catch (Exception e) {
Log.i(TAG, String.format(" get mini data Exception"+e));
}
}
}).start();
}
3 .android 移植x264
x264是一个免费的开源库，可以移植到Android上来，具体可查看官网或者网上搜索如何移植。
编码参数关键代码
void VideoChannel::setVideoEncodeInfo(int width, int height, int fps, int bitrate) {
// 编码参数设置可以参考
//https://www.cnblogs.com/wainiwann/p/5647521.html
pthread_mutex_lock(&mutex);
mWidth = width;
mHeight = height;
mFps = fps;
mBitrate = bitrate;
ySize = width * height;
uvSize = ySize / 4;
if (videoCodec) {
x264_encoder_close(videoCodec);
videoCodec = 0;
}
if (pic_in) {
x264_picture_clean(pic_in);
delete pic_in;
pic_in = 0;
}
//打开x264解码器
//x264解码器的属性
x264_param_t param;
//ultrafast 最快
//zerolatency 无延迟解码
x264_param_default_preset(¶m, "ultrafast", "zerolatency");
param.i_level_idc = 30;
//输入数据格式 int csp=X264_CSP_BGR|X264_CSP_VFLIP; //这个格式是BITMAP的那种颠倒的BGR的格式
param.i_csp = X264_CSP_I420;
param.i_width = width;
param.i_height = height;
//无b帧
param.i_bframe = 0;
//参数i_rc_method表示码率控制， CQP(恒定质量) CRF(恒定码率) ABR(平均码率)
param.rc.i_rc_method = X264_RC_CRF;
//码率(比特率 单位Kbps)
param.rc.i_bitrate = bitrate / 1000;
LOGI("set_i_bitrate------------------>%d",bitrate/1000);
//瞬时最大码率
param.rc.i_vbv_max_bitrate = bitrate / 1000 * 1.2;
//设置了i_vbv_max_bitrate必须设置此参数， 码率控制区大小 单位kbps
param.rc.i_vbv_buffer_size = bitrate / 1000;
//帧率
param.i_fps_num = fps;
param.i_fps_den = 1;
param.i_timebase_den = param.i_fps_num;
param.i_timebase_num = param.i_fps_den;
//用fps而不是时间戳来计算帧间距离
param.b_vfr_input = 0;
//帧距离(关键帧) 2s一个关键帧
param.i_keyint_max = fps * 2;
//是否赋值sps和pps放在每个关键帧的前面 该参数设置是让每个关键帧(I帧)都附带sps/pps
param.b_repeat_headers = 1;
//多线程
param.i_threads = 1;
x264_param_apply_profile(¶m, "baseline");
// x264_param_apply_profile(¶m, "high");
//打开解码器
videoCodec = x264_encoder_open(¶m);
pic_in = new x264_picture_t;
x264_picture_alloc(pic_in, X264_CSP_I420, width, height);
pthread_mutex_unlock(&mutex);
}4 rtmp移植 ：网上教程比较多可自行参考。
5最后效果图：
时间来不及就先看看图片吧。
老版本的屏幕录制可以看看上一篇文章，新版的屏幕录制需要搭好minicap环境，有些9.0手机可能不能允许minicap，如果是手机的话还是建议采用上一篇文章的方案，如果是自己要做这方面的业务可以采用新版本。 新版本的可以等我后面放到github上。
优化后在Android 和网页上的效果如下：