The CELT ultra-low delay audio codec
The CELT ultra-low delay audio codec
CELT 编码器是一种用于音频的压缩算法。像 MP3 ， Vorbis ，和 AAC 一样适合传输音乐，且获得高质量的音质。不像其他形式， CELT 占用很小的延时，甚至其延时比语音核心版式像 Speex ， GSM 或 G.729 的都少。
在超低延时领域，没有确定的标准。
-G.722.1C （ ITU-T ）： 40ms delay up to 32kHz
-AAC-LD(MOEG):20-50ms delay up to 48kHz
-ULD(Fraunhofer): <10ms delay, up to 48kHz
CELT 已经在这些竞争中领先。
其特性是：
- 可配置， 1.3ms 到 24ms ， 典型的是 ~8ms
- 质量（在相同的比特率下）：比 G.722.1C 好，与 AAC-LD 的相当，比 ULD 的好。
- 灵活性： 24kbps 到 160+kbps ， 32kHz 到 96kHz ，可配置的延时，低复杂度模式。
- 自由性：开源（ BSD ），没有专利
CELT —— Constrained Energy Lapped Transform
- 转换编码（ MDCT ，像 MP3 ， Vorbis 一样）
短窗（ ~8ms ） -> 低的频率分辨率
- 精确地对信号的各个带的能量进行编码
这样不论什么信号，可以保持声音的粗糙形状
- 使用矢量量化对剩下的细节进行编码
- 结合时间偏移使用基音预测
类似于语音编码中的线性预测
同时帮助补偿频率分辨率差的问题
1 、 Lapped Transform
我们都知道，任何信号都可以使用不同频率余弦曲线的加权和表示。离散余弦转换（ DCT ）计算各个频率的权值。
DCT 中的“离散（ Discrete ）”意味着我们限制有限的频率数。
- 随着转换块大小变小，能量“峰值”进入邻近的频率（更难去压缩）
同时普通的 DCT 在块之间产生编码失真（明显的不连续性），且很容易听出来。
“修正” DCT （ MDCT ）使用衰落窗来对重叠的多块进行加窗。
- 与 MP3 ， Vorbis ， AAC 等一样，使用相同的转换。
- 但是使用更小的块，更少的重叠。
2 、 Constrained Energy
因为人的耳朵在频域能听见大约 25 个截然不同的“临界频带”
- 心理声学的掩蔽效应比频带之间的掩蔽效应强
根据临界频带（ Bark scale ）把 MDCT 系数进行分组
- 限制每个频带至少包含 3 个系数来最小化每个频带的开销（ overhead ）。
- 对所有频带具有不同的频率分辨率。
- 但是把更多的比特数用在低频部分（ LFs ）。
大多数重要的心理声学课程从 Vorbis 学习得到：
Preserve the energy in each band
Vorbis 通过“ floor curve ”间接地操作
CELT 中对能量进行精确的编码
- 粗糙的能量（ 6dB 的分辨率），从前一帧和前一频带来预测
使用预测每帧可以节省 28bits ， 5ms 的帧的比特率为 5.6kbps
- 精细的能量，当有可用的比特率则不用通过预测来改善分辨率
3 、 Coding Band Shape
规范化后，各个频带由 N 维的单位矢量来表示
- 点在 N 维的球体
- 描述频带的能量的形状
使用以下两方面来编码形状
- 使用前一个解码的信号内容的自适应码本来预测当前帧
- 固定码本来处理那些不能预测的信号部分（ the “ innovation ”）
然后使用矢量量化
Pitch Prediction
短块大小 -> 低的频率分辨率
- 语音 / 音乐有周期的，平稳的内容
- 经过短的 MDCT 后不能正确的表示周期
基音预测补偿了低的分辨率
- 在时域搜索过去的 1024 的解码的样点，编码最好匹配的偏移
分辨率等于采样率
范围（ 48kHz ， FS=256 ）： 48000/1024 到 48000/384=46.875 到 125Hz
- 应用 MDCT 来转换到频域
- 限制预测的频带低于 8kHz