webrtc 视频数据底层传递过程

最近一年多来，做关于音视频模块的开发，主要是基于webrtc的二次开发，现在来分享一些关于webrtc的开发体会！由于本人是从android端入手的，对于webrtc，采集，渲染部分因平台而异，而编码，音视频传输，gcc，解码，jitterbuffer属于跨平台，这里我从android端采集开始：

android端采集流程分析：

interface CameraEnumerator.java

创建VideoCapturer.java接口，分别由CameraEnumerator1.java和CameraEnumerator2.java实现，CameraEnumerator1.java实现Camera1Capturer.java,CameraEnumerator2.java实现Camera2Capturer.java;

Interface VideoCapturer.java

在VideoCapturer.java分别通过Camera1Capturer和Camera2Capturer创建Camera1Session.java和Camera2Session.java

Class Camera1Session

使用camera 1.0 api对数据的采集

Class Camera2Session

使用camera 2.0 api对数据的采集

Create（）对camera根据传进来的属性，设置采集摄像头前后置，图像宽高，帧率等属性，这里注意一点，camera.addCallbackBuffer（byte[]）减少频繁的gcc，具体原理请百度

camera得到的数据分为两种方式，一种是得到视频的纹理，一种是得到视频数据的byte[]，对此，得到数据的下一步会进行渲染和编码处理，此时经过AndroidVideoTrackSourceOberver.java将数据传入底层，那么数据是如何进行下一步渲染和编码发送的呢？

对于编码，数据传入底层之后，由webrtc引擎进行编码发送，这个我们后面再进行分析，先分析渲染这一模块，这个是与平台相关的；

我们先要理解数据绑定的原理：

对于webrtc中，传输数据按照MediaStream流来传输，而一个MediaStream可以添加多路音频（audiotrack）和视频(videotrack)，track是由source创建，这样webrtc通过videocaptuer创建出音频视频的source，从来创建音频视频的数据载体track，添加到Meidastream上进行传递，此时track代表某特定设备的音频或视频数据，此时，如何区分到数据的唯一性，此时webrtc通过Sink这个载体进行区分，那么理解了这些概念之后，我们开始来学习一下代码，研究一下webrtc在这点上面的设计；

AndroidVideoTrackSourceOberver.java中通过native方法 ,将采集到的数据或者问题传入底层，首先经过androidvideotracksource_jni.cc调用AndroidVideoTrackSouce.cc,

AndroidVideoTrackSouce.cc这里首先对数据进行旋转，裁剪缩放处理之后，组装成VideoFrame传递到底层adapterdvideotracksource.cc onframe(),然后通过broadcaster进行分发，然后通过Sink进行传递，反馈到渲染和编码线程;

对于渲染模块我们下一节细细分析，现在我们查看编码线程数据如何继续传递

EncoderTask线程对数据进行编码  下面对数据的流水线如下

Video_stream_encoder.cc EncodeVideoFrame()  video_sender.cc  AddVideoFrame()这里会根据码率和帧率进行丢帧处理  generic_encoder.cc encode()  VCMEncodedFrameCallback::OnEncodedImage()  video_send_stream.cc  payload_router.cc     rtp_rtcp_impl.cc(SendOutgoingData())   RtpSender.cc  RTPSenderVideo.cc sendVideo 这里进行rtp数据的组装，fec组装 sendToNetwork()   pased_sender inserpacket(塞入到发送缓冲区) 进行平滑发送  PacketRouter::TimeToSendPacket()

PacedSender::Process()线程进行发送

发送通过buget进行带宽探测，如果小于则用padding进行补充

这个为发送端的流程，里面有大量技术点，后面一一分析

接收端流程如下

Channel.cc ProcessPacket()  区分rtcp和rtp   webrtcvideoengine.ccOnPackerReceived()   call.cc deliverRtp 区分audio还是video  rtp_video_stream_receiver.cc OnRtpPacket()接收数据  这里分为两部分，第一部分塞入到缓冲区jitterbuffer

,同时这里需要对数据进行统计（buildrr需要用到的数据，接收到数据的总数和重传包的总数，提供给sender计算丢包率 updateCounter()如何判断是重传包，与rtt有关，后面再讲）rtp_receiver_impl.cc incomingRtpPacket()  rtp_receiver_video.cc ParseRtpPacket() 解析数据(codec

payload_data_lenth 然后通过 RtpDepacketizer进行解包)   packet_buffer  insertPacket(&packet)进入到jitterbuffer模块 ，buffer用于缓存，报错数据rtp组包，丢包重传，jitter在解码处对延时（上一帧和此帧时间延迟，通过卡尔滤波算法进行计算延时估算码率），流程大致就是这样，后面再对没个技术点进行剖析