Opus编解码协议

Opus是一种开源免费的音频编解码器，支持音乐和语音，具有低延时、带内FEC、DTX、PLC等特点，默认22.5ms延时，非常适用网络实时传输。官网：https://www.opus-codec.org。Opus协议收录于RFC6716，使用SILK和CELT两种编码。

一、Opus特点

Opus在语音app应用很广泛，包括VoIP、视频会议、语音聊天、音乐直播演唱会等。即支持低码率语音，也支持高音质音乐。特点如下：

1. 码率支持从6kb/s到510kb/s；
2. 采样率支持从8kHz到48kHz；
3. 可变帧长从2.5ms到60ms；
4. 支持CBR和VBR两种码率模式；
5. 音频带宽从窄带到全频带；
6. 支持语音和音乐；
7. 支持多达255个声道；
8. 动态调整码率、带宽、帧大小；
9. 支持PLC丢包隐藏；

二、码率、音质、延时

1、音质与码率比较
Opus、AAC、MP3、Vorbis等codec的质量与码率对比，如下图所示：

由图可见，Opus的码率从6kb/s到128kb/s都是音质最高的，接着是AAC、Vorbis，而MP3是在128kb/s时取得不错音质。

2、码率与延时对比
Opus、AAC、Vorbis、MP3等codec的码率与延时对比，如下图所示：

由图可见，Opus的码率从6kb/s到80kb/s时，延时都是最低的。接着是窄带的G729，超宽带的AAC-LD(低延迟模式)。而延时比较的是Vorbis、AAC、MP3，延时达到200ms左右。

三、Opus编解码框架

Opus的编解码框架包括：VAD静音检测、音调分析、预测分析、噪声整形分析、长期预测量化、线谱频率量化、增益量化。如下图所示：

四、DTX非连续传输

DTX，Discontinuous Transmission，用于检测静音传输时，自动降低码率节省带宽。前面提及的VAD模块就是用来静音检测。DTX适用于VBR和CBR码率模式，会稍微降低声音质量。因此，建议在网络带宽受限条件下，才开启DTX。

五、FEC前向纠错

FEC，Forward Error Correct，通过添加先前数据包的冗余数据到当前包，实现前向纠错。Opus允许带内的FEC。编码器觉决定是否使用FEC取决以下条件：

• 外部提供信道丢包率估计；
• 外部提供信道容量估计；
• 语音或音乐对丢包的敏感度；
• 解码器有没请求带内FEC信息；

发生丢包时，接收端可以根据FEC重建数据包。但是，每个数据包加上FEC导致数据量变大，所以FEC需要根据实际情况使用(比如丢包率达到一定程度)。

六、Opus解码

Opus的解码包括SILK和CELT两部分，在SILK端做采样率转换和延迟补偿，在CELT端做决策处理。如下图所示：

1、SILK解码器
SILK解码流程如下图所示：

对应序号的参数如下：

1. 局部编码比特流；
2. 编码参数；
3. 脉冲、信号；
4. 音调间隔，LTP系数；
5. LPC线性预测编码系数和增益；
6. 解码信号；
7. 分离信号；
8. 重采样信号；

七、PLC丢包隐藏

PLC，Packet Loss Concealment，是解码器可选模块。PLC依赖上一个接收到的数据包。在CELT解码模式，找出周期性的解码信号，使用音调偏移来重复窗口波形。窗口波形以如下方式重叠：保留时域混叠消除的上一个帧和下一帧。调用celt_decode_lost()函数实现。在SILK解码模式，使用上一帧的LPC插帧。