cef利用off-screen-rendering离屏渲染进行视频录像

windows客户端如果是通过cef来实现的,那么可以通过osr模式来进行视频录像。

cef off-screen rendering介绍

cef的off-screen rendering功能,可以把需要渲染的图像数据,以回调的方式回调给我们,由我们自己来绘制。
比如使用opengl绘制纹理。
我们可以利用这个数据来进行客户端的屏幕录像。

开启离屏渲染功能

一、修改CefSettings settings

settings.windowless_rendering_enabled = true;
CefInitialize(main_args, settings, app.get(), sandbox_info);

二、修改CreateBrowser()传入的窗口

  CefBrowserSettings settings;
  settings.windowless_frame_rate = 60;
  //创建一个本地窗口,作为离屏渲染的父窗口
  Create(parent_hwnd, rect);
  CefWindowInfo window_info;
  window_info.SetAsWindowless(hwnd_);
  // Create the browser asynchronously.
  CefBrowserHost::CreateBrowser(window_info, handler, startup_url, settings,
                                request_context);

三、实现CefRenderHandler

CefRenderHandler是进行绘制时,cef回调给我们数据的地方。
图像数据通过OnPaint回调上来。

virtual void OnPaint(CefRefPtr browser,
                 PaintElementType type,
                const RectList& dirtyRects,
                const void* buffer,
                int width,
                int height) = 0;

在OnPaint中我们可以通过调用ffmpeg进行视频录制。
也可以根据需要的html元素位置,来截取部分区域。

四、声音的来源

声音数据我们需要自己拿到,我这里是通过webrtc播放声音的地方拿到的。
可以参考https://github.com/zhangpengyf/webrtc-native-example的getaudiodata分支。

cefclient中有具体的实现细节

可以给cefclient传递命令行参数--off-screen-rendering-enabled,来开启osr模式。
cefclient实现的很详细,包括图像的绘制,鼠标事件的处理。
我们只需要修改CefRenderHandler::OnPaint即可进行录制。

你可能感兴趣的:(cef利用off-screen-rendering离屏渲染进行视频录像)