WebRTC 学习笔记（3）--媒体处理及编解码部分

WebRTC 学习笔记（3）--媒体处理及编解码部分

说明：此系类的内容都是本人自己对libjingle native API代码的学习总结。其中可能存在不准确甚至是错误的内容。欢迎大家帮忙指出错误。

1， 此部分代码主要完成媒体处理，编解码，RTP/RTCP 编解码等。下图是主要的模块图：

2，主要模块间通信及相互引用关系。

下图中模块对应于上图中模块的描述。下图仅罗列主要模块的通信关系。

3， VideoEngine模块

VideoEngine模块是媒体处理的核心模块。对外暴露媒体处理的接口，对内管理连接内部的其他模块。

下图中蓝色部分为其他模块，黄色部分为VideoEngine内部类。

VideoEngine：对外部的接口（code中的接口是通过很多类实现，这些接口类并没有做实际工作，只是为使用方便将不同接口归类。）

VieChannel：该模块的核心类，主要工作都在此类中实现。

ChannelGroup：包含多个channel，一个group中的所有channel共享许多资源（如带宽控制，带宽估计等）

VieCapture：采集数据处理类。此类并没有实现真正的图像采集工作。实际的采集工作由VideoCaptureModule或externalCapture实现。

此模块中channel的key为一个整形的ID值。此ID值将暴露给外部模块，并作为外部模块使用本模块的关键参数。在模块内部，此key值将VieChannel和VieEncoder关联起来。在建立VieCapturer时，会根据此key将数据发送到对应的VieEncoder上，从而在模块内部实现不同类的关联。

下图是发送数据时，VideoEngine内部类的调用关系

下图是接收数据时，内部各类的调用关系：

4， rtp_rtcp模块

此模块主要功能是：

1） 将编码器生成的数据封装成RTP包

2） 将由网络受到的数据包解析成Payload数据

如下图所示，模块主要功能有下部的4个类实现，ModuleRtpRtcpImpl 仅提供一个统一对外接口，以及一些参数检查工作。

5，capture模块

此模块提供视频捕捉功能。捕捉到的数据通过VideoCaptureDataCallback回调给使用者。
在webretc项目中，此模块没有被直接使用。而是被封装成cricket::VideoCapture，然后作为一个externalCapture来使用。

6, render 模块

此模块提供视频渲染功能。调用者通过AddIncomingRenderStream函数得到VideoRenderCallback的实例，再通过VideoRenderCallback接口的RenderFrame方法渲染图像。
在webretc项目中，真正的render工作不是由此模块提供，而是以external render的形式由外部模块提供。

7, webrtc_video_coding 模块

此模块负责视频的编解码工作

原文地址：http://blog.csdn.net/oupeng1991/article/details/28617023