语音特征：spectrogram、Fbank(fiterbank)、MFCC

1.各种语音特征

语音特征用于语音识别和语音合成等。

语音特征有声谱图spectrogram、Fbank(fiterbank)、MFCC(Mel-frequency cepstral coefficients)等。

Fbank 特征提取方法就是相当 于 MFCC 去掉最后一步的离散余弦变换（有损变换）.

在深度学习之前，受限于算法，mfcc配GMMs-HMMs是ASR的主流做法。当深度学习方法出来之后，由于神经网络对高度相关的信息不敏感，mfcc不是最优选择，经过实际验证，其在神经网络中的表现也明显不如fbank.

linear spectrogram里面冗余信息太多了，维度也高，所以一般也不用。

2.Mfcc

梅尔倒谱系数（Mel-scale Frequency Cepstral Coefficients，简称MFCC）。

MFCC一般会经过这么几个步骤：预加重，分帧，加窗，快速傅里叶变换(FFT)，梅尔滤波器组，离散余弦变换(DCT).其中最重要的就是FFT和梅尔滤波器组，这两个进行了主要的将维操作。
(1)预加重：预加重处理其实是将语音信号通过一个高通滤波器。目的是提升高频部分，使信号的频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱；同时，也是为了消除发生过程中声带和嘴唇的效应，来补偿语音信号受到发音系统所抑制的高频部分，也为了突出高频的共振峰。
(2)分帧：为了方便对语音分析，可以将语音分成一个个小段，称之为：帧。先将N个采样点集合成一个观测单位，称为帧。通常情况下N的值为256或512，涵盖的时间约为20~30ms左右。为了避免相邻两帧的变化过大，因此会让两相邻帧之间有一段重叠区域，此重叠区域包含了M个取样点，通常M的值约为N的1/2或1/3。通常语音识别所采用语音信号的采样频率为8KHz或16KHz，以8KHz来说，若帧长度为256个采样点，则对应的时间长度是256/8000×1000=32ms。
(3)加窗：将每一帧乘以汉明窗，以增加帧左端和右端的连续性。
(4)快速傅里叶变换(FFT)：由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到在频谱上的能量分布。对分帧加窗后的各帧信号进行快速傅里叶变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。
（5）受人耳蜗(cochlea)的启发——根据输入声音的不同，它会在不同的地方共振。而根据共振位置的不同，不同的神经元会向大脑发送不同的信号告诉大脑这个声音对应哪些频率。我们用周期图来估计功率谱就是为了达到类似的效果。

但是上面得到的功率谱仍然包含了很多对于语音识别无用的信息。比如耳蜗不会太细微的区分两个频率，尤其是对于高频的信号，耳蜗的区分度就越小。因此我们会把频率范围划分成不同的桶(bin)，我们把所有落到这个桶范围内的能量都累加起来。这就是通过Mel滤波器组来实现的：第一个滤波器非常窄，它会收集频率接近0Hz的频率；而越往后，滤波器变得越宽，它会收集更大范围内的频率，具体频率范围是怎么划分的后面我们会介绍。

（6）接下来对于滤波器组的能量，我们对它取log。这也是受人类听觉的启发：人类对于声音大小(loudness)的感受不是线性的。为了使人感知的大小变成2倍，我们需要提高8倍的能量。这意味着如果声音原来足够响亮，那么再增加一些能量对于感知来说并没有明显区别。log这种压缩操作使得我们的特征更接近人类的听觉。为什么是log而不是立方根呢？因为log可以让我们使用倒谱均值减(cepstral mean subtraction)这种信道归一化技术（这可以归一化掉不同信道的差别）。

（7）最后一步是对这些能量进行DCT变换。因为不同的Mel滤波器是有交集的，因此它们是相关的，我们可以用DCT变换去掉这些相关性，从而后续的建模时可以利用这一点(比如常见的GMM声学模型我们可以使用对角的协方差矩阵，从而简化模型)。

3.声谱图Spectrogram

声谱图的横坐标是时间，纵坐标是频率，坐标点值为语音数据能量。由于是采用二维平面表达三维信息，所以能量值的大小是通过颜色来表示的，颜色深，表示该点的语音能量越强。

声谱图是研究语音（音素Phone）的工具。

3.1.声谱图形成过程

1)信号预加重：
因为语音信号的功率谱随频率的增加而减小，导致语音的大部分能量都集中在低频部分，从而导致高频部分的信噪比很低。因此一般使用一阶高通滤波器去提升信号在高频部分的信噪比。对语音进行完预加重后，然后就是分帧加窗操作；

2)对信号进行分帧加窗，进行STFT， 得到每帧信号的频谱图：
对于一段语音，以10ms~30ms 为一帧，为了保证帧与帧之间平滑过渡保持连续性，帧与帧之间会有重叠。每帧数据加窗后做FFT ， 称之为STFT。
3)对频谱图进行旋转 加映射；
4)将变换后的多帧频谱进行拼接， 形成语谱图；

4.Filterbank/Fbank

FBank 特征的频谱图大概长下面这个样子，图中四个红点表示的是共振峰，是频谱图的主要频率，在语音识别中，根据共振峰来区分不同的音素（phone），所以我们可以把图中红线表示的特征提取出来就行，移除蓝色的影响部分。其中红色平滑曲线将各个共振峰连接起来，这条红线，称为谱包络（Spectral Envelope），蓝色上下震荡比较多的线条称为谱细节（Spectral details）。

参考：
1）语谱图（一） Spectrogram 的定义与机理
https://blog.csdn.net/chumingqian/article/details/123019808
2)语音识别GMM-HMM
https://blog.csdn.net/zephyr_wang/article/details/127655618