MFCC(Mel Frequency Cepstral Coefficient)提取过程详解

MFCCs是一个在语音识别和说话者识别领域被广泛运用的特征,由Davis和Mermelstein在1980年提出,可以说从那以后,MFCCs就一直占据这声音特征方面的state-of-the-art。这篇文章主要介绍MFCCs的提取过程以及为什么MFCCs对声音特征的表达会这么好。

MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第1张图片
图(1)  一段采样频率为44.1kHz,长度为30s的声音

我们通过以下7步得到MFCC特征:

1、首先,对波形图分帧。通常我们取20-40m为一帧的宽度,例如我们取40ms位一帧的宽度,对于一个44.1kHz采样的信号,一帧就包含0.040*44100=1764个采样点,帧移通常去帧宽的二分之一,也就是20ms,这样就允许没两帧之间有一半的overlap。这样一来,第一帧就是从第一个采样点到第1764个采样点,第二帧就是从第882个采样点到第2646个采样点...直到最后一个采样点,如果音频长度不能被帧数整除,在最后补0 。对于一个30s的音频文件,可以得到44100*30 / 882 = 1500帧。

2、对每一帧进行加窗。加窗的目的是平滑信号,使用汉明窗加以平滑的话,相比于矩形窗函数,会减弱FFT以后旁瓣大小以及频谱泄露。

例如使用汉明窗(hamming window)对信号进行加窗处理:

式(1) hamming window
MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第2张图片
图2

从上面的例子可以看出来,如果不进行加窗,那么某一帧的结束值和下一帧的开始值会有一个gap(因为有overlap),在频谱图上来看,峰值会变得比较“宽”,而加过hamming window的帧在频谱图上的峰值就会变得更加sharp也更容易辨认。设加窗函数为h(n)。

3、对每一帧进行离散傅里叶变化(DFT):

式(2), DFT指数形式

其中s(n)为波形信号,S(n)为幅度谱。

因为有

式(3) 欧拉公式

即式(2)的另一种形式为:

所以其实DFT变换就是两个“相关(correlation)”操作,一个是与频率为k的cos序列相关,一个是与频率为k的sin序列相关,然后两者叠加就是与频率k的正弦波相关的结果,如果得到的值很大,就表明信号包含频率为k的能量很大。

4、计算功率谱:

例如,我们从一个1764个点的FFT计算得到功率谱以后,只保留前1764/2+1=883个系数。

5、计算Mel-spaced filterbank。

频率和mel频率之间的转化公式为:

频率和mel频率之间的转化公式

mel滤波器组是一组非线性分布的滤波器组,它在低频部分分布密集,高频部分分布稀疏,这样的分布是为了更好得满足人耳听觉特性。

MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第3张图片
图3. mel filters

将这样一组三角滤波器(例如128个)作用到一帧上,就将一个883维的向量转化为128维的向量。

MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第4张图片
图3

6、对上述128维的mel功率谱取log,得到128维的 log-mel filer bank energies。这样做的原因是由于人耳对声音的感知并不是线性的,用log这种非线性关系更好描述,另外,取完log以后才可以进行倒谱分析。

7、离散余弦变换。对上述128维的向量进行DCT,DCT和DFT类似,但是只使用实数,不涉及复数运算。

其中

引入ai是为了使ci正交化。将ci表示为矩阵形式:

MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第5张图片
DCT矩阵形式

这样得到的C(n)矩阵中,较大的值都集中再靠近左上角的低能量部分,其余部分会产生大量的0或者接近0的数,这样,我们可以进行进一步数据压缩。这也表明DCT有很好的能量聚集效应。相比于傅里叶变换(FFT),离散余弦变换的结果没有虚部,更好计算(DCT也可以理解为没有虚部的FFT)。利于对于ASR任务,通常取低13维的系数。

这样我们就得到了13banks 的MFCC。

差分:

由于语音信号是时域连续的,分帧提取的特征信息只反应了本帧语音的特性,为了使特征更能体现时域连续性,可以在特征维度增加前后帧信息的维度。常用的是一阶差分和二阶差分。

实际计算中则更为简单,例如用python的librosa库实现:

a = [1 2 3 4 5 1 3 5 7]

b = liborsa.feature.delta(a, width=3)

b= [ 0.5  1.  1.  1.  -1.5 -1.  2.  2.  1. ]

例如对于a中的第一个5,b中对应的值是前后两个值的差值除以(宽度-1): (1-4)/2

二阶差分则是对delta再做一次差分运算。


MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第6张图片
图4. 20-banks MFCC,图1中波形图对应的MFCC


MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第7张图片
图5. delta (width = 9)


MFCC(Mel Frequency Cepstral Coefficient)提取过程详解_第8张图片
图6. delta-delta(accelerate)


参考资料:

http://www.speech.cs.cmu.edu/15-492/slides/03_mfcc.pdf

http://practicalcryptography.com/miscellaneous/machine-learning/guide-mel-frequency-cepstral-coefficients-mfccs/

http://mirlab.org/jang/books/audioSignalProcessing/speechFeatureMfcc.asp?title=12-2%20MFCC

你可能感兴趣的:(MFCC(Mel Frequency Cepstral Coefficient)提取过程详解)