1 WebRTC简介
WebRTC是谷歌公司2011年发布的一项技术。WebRTC技术主要用于在支持HTML5的浏览器上实现实时音视频对话。功能包括会话初始化协议SIP的实现、音视频编解码和音视频数据处理等等。经过源代码分析,将AEC部分的代码单独摘取出来,并编译成动态链接库,通过jni技术使Java代码调用动态链接库,实现高质量回声消除。
2 WebRTC的AEC模块实现原理
WebRTC的AEC模块采用自适应滤波算法实现回声消除。该算法以输出到扬声器的音频数据为依据,根据现场的回声路径特征,模拟出回声信号。以模拟回声信号为依据,从麦克风采集到的音频数据中滤除模拟回声信号。算法的实现原理如图1所示。y(n)代表远端语音数据,y(n)在交给近端扬声器播放的同时,还送到自适应滤波器,产生回声估计值d^(n)。x(n)代表近端有用语音,麦克风采集的数据是x(n)和y(n)产生的回声d(n)的叠加,即x(n)+d(n)。经滤波处理,最终近端语音数据为:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),称为回声消除误差。理想状态下,e(n)应为0。但现实中e(n)不可能为0。滤波器会根据e(n)的值自动调整滤波系数。
WebRTC 的回声消除技术在 Android 可视对讲程序中的应用
3 WebRTC的移植
我们将AEC模块分成了两个大块,第一个大块是音频处理的通用模块WebTRC_audio(该模块编译成功后生成“libwebrtc_spl.so”动态库,供第二大块调用),源代码位于WebRTC源代码根路径下的“common_audio\signal_processing”中。第二大块是WebRTC_aec(该模块编译成功后生成“libwebrtc_aec.so”动态库),源代码位于WebRTC源代码根路径下的“modules\audio_processing\aec”中。
如下是WebRTC_aec模块的编译脚本主要部分:
LOCAL_PATH:=$(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE:=signal_prebuilt
LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so
include $(PREBUILT_SHARED_LIBRARY)
include $(CLEAR_VARS)
LOCAL_MODULE := libwebrtc_aec
LOCAL_SHARED_LIBRARIES := signal_prebuilt
include $(BUILD_SHARED_LIBRARY)
先看编译脚本的前五行,定义了一个预编译模块,即WebRTC_
a u d i o 块, 然后通过L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt来导入该模块。
4 应用层多线程实现回声消除
如果想要成功消除回声,必须将近端数据和远端数据之间的时间差控制在合理范围内。在Android应用开发中,使用AudioRecord进行音频采集,使用AudiorTrack进行远端音频播放。协调好这两个类的输入输出时间同步,是回声消除功能实现的重要保障。为了保证时间上的连续性和时间差,需要使用两个单独线程ReadThread和WriteThread来分别进行音频采集和音频播放。另外还有两个单独的线程InTrhead和OutThread来完成数据的接收和发送,还有一个线程AecThread完成回声消除操作。线程之间的数据交换使用队列来完成。