语谱图，滤波器组（Filter banks、MFCC）

Speech Processing for Machine Learning: Filter banks, Mel-Frequency Cepstral Coefficients (MFCCs) and What's In-Between （2016.4）

MFCC特征提取（知乎）-demo操作

---

       机器学习第一步是特征提取，语音领域也不例外。目前使用最多的莫过于Filter banks和MFCC，两者整体相似，MFCC多了一步DCT（离散余弦变换）。       

       就目前来说，用的多得是Fbank，因为fbank的信息多余MFCC，MFCC多了一步DCT，某种程度上是对语音信息的损变，而且因为多了一步，计算量更大。

“MFCC=Fbank+DCT”

1、语谱图

0. 声音2比特

    先对声音文件进行采样，常见的16kHz，每秒等间隔的采样16k次该点振幅。采样完后得到整个音频文件的一个数值列表，每个值是该处振幅，此时可以选择进行预加重操作。

1.1、预加重、预增强：（可选）

预增强以帧为单位进行，目的在于加强高频。去除口唇辐射的影响，增加语音的高频分辨率。因为高频端大约在800Hz以上按6dB/oct (倍频程)衰减，频率越高相应的成分越小，为此要在对语音信号进行分析之前对其高频部分加以提升，也可以改善高频信噪比。 

经预加重后的结果为：           

k是预增强系数，范围为[0, 1)，常用0.97，x是提取的wav时域数组的项，从公式可以看出每一帧的第一个数需要特殊处理。 

1.2、分帧：

分帧是将不定长的音频切分成固定长度的小段。 需要分帧是因为后续的傅里叶变换适用于分析平稳的信号，而语音信号是变化迅速的 。

为了避免窗边界对信号的遗漏，因此对帧做偏移时候，帧间要有帧迭(帧与帧之间需要重叠一部分)。通常的选择是帧长25ms（下图绿色），帧移为10ms（下图黄色）。接下来的操作是对单帧进行的。要分帧是因为语音信号是快速变化的，而傅里叶变换适用于分析平稳的信号。帧和帧之间的时间差常常取为10ms，这样帧与帧之间会有重叠（下图红色），否则，由于帧与帧连接处的信号会因为加窗而被弱化，这部分的信息就丢失了。

1.3、加窗：

傅里叶变换要求输入信号是平稳的，但是语音信号从整体上来讲是不平稳的。每帧信号通常要与一个平滑的窗函数相乘，让帧两端平滑地衰减到零，这样可以降低傅里叶变换后旁瓣的强度，取得更高质量的频谱  。

时域除了主瓣，还出现了不该出现的旁瓣，即“频谱泄露”。截断由窗函数来完成，实际的窗函数都存在着不同幅度的旁瓣，所以在卷积时，除了离散点的频率上有幅度分量外，在相邻的两个频率点之间也有不同程度的幅度，这些应该就是截断函数旁瓣所造成的。 避免的最好方法是满足整周期采样条件，现实中几乎不可能做到。声音信号非周期信号，任意截取有限长序列都不能代表原信号，矩形窗的频域是Sa函数，旁瓣起伏大，与原频谱卷积完会产生较大失真。穿函数的频谱，越像delta函数（主瓣窄，旁瓣小）频谱还原度越高。

常采用汉明窗，其对应的窗函数如下： 

2.1、快速傅里叶变换fft

即使是分帧过后极短时间的声音，仍是很多高低频声音的混杂，此时的数据是时域，通过傅里叶变换转换为频域可以将复杂声波分成各种频率的声波，方便神经网络进行学习。最终结果是个频率范围内的重要程度（能量）。

因为我们用的是数字音频（而非模拟音频），所以我们用到的是离散傅里叶变换。我们现在可以在每一帧上做N点FFT来计算频谱，也称为短时傅里叶变换(Short-Time Fourier-Transform, STFT)，其中N通常为256或512,NFFT = 512.

                                                     ，为信号的第帧

将得到的每一帧的变换按轴频率轴拼接在一起就成了语谱图。纵轴表示频率，横轴表示时间，颜色的深浅来代替频谱强度。

2. Fbank

  人耳对声音频谱的响应是非线性的，经验表明：如果我们能够设计一种前端处理算法，以类似于人耳的方式对音频进行处理，可以提高语音识别的性能。FilterBank就是这样的一种算法。FBank特征提取要在预处理之后进行，这时语音已经分帧，我们需要逐帧提取FBank特征。

2.2、Mel滤波器组

Mel滤波的过程如下图：

其中Hertz () and Mel ()         

                                                       

2.3、计算fbank的最后一步是在得到的功率谱上应用三角形滤波器，通常是40个滤波器。

将滤波器组应用于信号的功率谱(周期图)，得到如下谱图（时频图）：

致此Fbank结束。

剩余的MFCC的步骤可参照以下两篇

参考文章:   语音识别--MFCC

                  MFCC特征参数提取（知乎）

以及说得最清楚的一篇英文：Filter banks, Mel-Frequency Cepstral Coefficients (MFCCs) and What's In-Between