webrtc 使用不同路径输入音频数据的走向

使用 adm 方式

1. adm 的AudioDeviceGeneric类型成员变量的 RecThreadProcess 方法

• 拷贝数据到 _ptrAudioBuffer(class AudioDeviceBuffer) --> SetRecordedBuffer()
• 调用 _ptrAudioBuffer(class AudioDeviceBuffer) 的数据传递方法 --> DeliverRecordedData()

2. AudioDeviceBuffer 的 DeliverRecordedData 方法

• 一些音频数据长度，延迟的计算，然后将数据传递到 audio_transport_cb 的 RecordedDataIsAvailable()

3. file:audio_transport_impl.cc，class:AudioTransportImpl，fun:RecordedDataIsAvailable

• 该类是在webrtc_audio_engine 的 audio_state 里面构造的
• InitializeCaptureFrame() 构造AudioFrame结构体音频数据
• RemixAndResample() 使用系统mixer模块,对输入音频进行混流处理
• ProcessCaptureFrame() 使用process模块，对输入音频做前置处理
• 发送AudioFrame给所有的 send stream (class AudioSendStream)

这里第一路send stream 用的是原始audio_frame,其他路分别是拷贝的audio_frame

4. file:audio_send_stream.cc,class:AudioSendStream,fun:SendAudioData(std::unique_ptr audio_frame)

• 调用channel_send_(class ChannelSend) 的 ProcessAndEncodeAudio 方法

5. file:channel_send.cc,class:ChannelSend,fun:ProcessAndEncodeAudio(std::unique_ptr audio_frame)

• 通过encoder_queue.PostTask 发送队列任务，转调用到 ProcessAndEncodeAudioOnTaskQueue() 方法
• 根据控制参数，调用Mute()来静音数据
• 调用audio_coding_ 的 Add10MsData() 方法

6. file: audio_coding_module.cc,class:AudioCodingModuleImpl,fun:Add10MsData(const AudioFrame& audio_frame)

6.1 调用this的Add10MsDataInternal() 方法

• (1) HaveValidEncoder 检测是否有相应的编码器
• (2) PreprocessToAddData() 音频通道根据编码器支持，向下调整，或者重采样
• (3) 再次检查是否需要向下，或者向上通道个数调整
• (4) 让后将数据拷贝到input_data 里面

6.2 调用this的Encode()方法

• (1) 调用encoder_stack_ 的 Encode()方法

  • file：audio_encode.cc,class:AudioEncoder,fun:Encode()
    • file：audio_encode.cc,class:AudioEncoder,fun:EncodeImpl()
      调用this的EncodeImpl(rtp_timestamp, audio, encoded)

    这里就是调用具体的编码器方法了，举个例子，比如audio_encoder_opus.cc 的opus 编码，编码后数据传到encoded参数里面

• (2) 调用packetization_callback_ 的 SendData()方法

7. file:channel_send.cc,class:ChannelSend,fun:SendData(AudioFrameType ,uint8_t ,uint32_t ,const uint8_t* ,size_t )

8. file:channel_send.cc,class:ChannelSend,fun:SendRtpAudio(AudioFrameType ,uint8_t ,uint32_t ,rtc::ArrayView)

• frame_encryptor_->Encrypt() 如果有加密处理，那么久在这里处理加密
• _rtpRtcpModule 的 OnSendingRtpFrame() 方法 . 里面就是一些rtcp 报告信息的发送
• rtp_sender_audio_ 的 SendAudio() 方法

9. file:rtp_sender_audio.cc,class:RTPSenderAudio,fun:SendAudio()

这里已经是RTP/RTCP-module 模块的内容了，传输模块了

使用 adm 方式

1. 进入 AudioSourceInterface 接口的实现类，调用sindk_ 的OnData() 方法

2. file:rtp_sender.cc,class:LocalAudioSinkAdapter,fun:OnData

3. file:webrtc_voice_engine.cc,class:WebRtcAudioSendStream,fun:OnData()

5. file:audio_send_stream.cc,class:AudioSendStream,fun:SendAudioData(std::unique_ptr audio_frame)

这一步就和adm 方式的第4步一致了，后面的步骤就是一样的了