乐鑫ESP-RTC 实时音视频通信方案

乐鑫 ESP-RTC 实时音视频通信方案

乐鑫科技推出 ESP-RTC (Real-Time Communication) 音视频通信方案，能够实现稳定流畅、超低延时的语音和视频实时通信。

ESP-RTC 以乐鑫 ESP32-S3-Korvo-2 多媒体开发板为核心。ESP32-S3-Korvo-2 搭载 ESP32-S3 AI SoC，拥有双麦克风阵列，支持近/远场语音唤醒和语音识别。它还集成了摄像头、Micro SD 卡、LCD 等外设，支持基于 MJPEG 视频流的处理，为用户构建低成本、低功耗、可联网的音视频产品提供了理想的开发原型。

ESP32-S3-Korvo-2 多媒体开发板

ESP-RTC 方案参考硬件框架

ESP-RTC 方案基于乐鑫自研的 SIP（Session Initialization Protocol，会话初始协议）协议栈，实现了实时的音视频通信。协议栈包含传输层、事务层和会话层，其信令交互模块支持 UDP、TCP 和 TLS 三种方式，媒体传输模块支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透传协议。值得一提的是，ESP-RTC 方案还在传输模块中增加了弱网对抗算法，如 Jitter Buffer 和 PLC，有效解决了丢包、抖动、拥塞、延时等问题，能够充分保证音视频通信的流畅性与实时性。

ESP-RTC 方案也支持 RTSP（Real Time Streaming Protocol，实时流协议）协议栈，其媒体传输模块同时支持 RTP/UDP 和 RTP over TCP。ESP-RTC 方案既可以作为 RTSP 服务器，支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器进行点播；也可以作为 RTSP 客户端，支持对 EasyDarwin 等开源服务器进行直播推流和拉流播放。

ESP-RTC 基于乐鑫自研的音频 3A 算法 (AEC 声学回声消除、ANS 背景噪声抑制、AGC 音频自动增益)，降低了通话中的噪音和回声，使语音对讲保持高质量稳定。它还采用乐鑫芯片级编解码算法，为用户提供了清晰画质的视频通话体验。结合乐鑫 AI SoC ESP32-S3，ESP-RTC 可借助其出色的 AI 运算能力，实现高性能语音唤醒与识别、图像识别等应用，广泛适用于智能音箱、可视对讲门铃、智能家居控制面板、宠物监控、车载行车记录仪、儿童玩具等场景。

ESP-RTC 方案支持 FreeSWITCH、FreePBX 等开源服务器，也可接入成熟的 SFU 云端服务器，实现多人同屏音视频通话。用户借助乐鑫开源物联网开发框架 ESP-IDF 和音频开发框架 ESP-ADF，即可快速搭建音视频通信相关应用。

如果您想了解更多关于乐鑫 ESP-RTC 实时音视频通信方案的信息，或寻求商业项目合作，请联系我们的客户支持团队。您也可以前往乐鑫官⽅淘宝店铺购买 ESP32-S3-Korvo-2 开发板，构建自己的音视频通话应用。