WebRTC VAD算法初探

这几天对webrtc中的VAD算法做了一些研究，有了一些心得

VAD算法中核心的是使用了GMM进行分类，noise作为一类，speech作为一类，两类求后验概率，并且实时的更新GMM的参数

但是这个GMM的具体情况是怎么样的，它的均值，方差，都是多少，使用特征的维度是多少？参数又是怎么更新的

一、GMM的 权重，均值，方差分析

频率域上分成了6个子带（channel），对每个子带求能量，初始值有一个GMM参数，包括 权重，均值，方差。

对噪声、语音，每个子带上的GMM的混合系数2，即2个高斯的mixture，一共6（6个channel，或者子带）*2（noise和speech）*2（每个GMM和混合系数是2）

你比如噪声的权重，kNoiseDataWeights，前六个和后六个分别是两个GMM的两组权重，Q7量化为2^7 =128

显然， 34/128 + 94/128 = 1; 62/128+66/128 = 1;...依次类推

使用的特征是6维的，但是这6维不是直接就使用一个GMM模型，而是裂解成6个子特征（6个channel），每个一维度的特征作为一个混合高斯模型的输入，每个高斯混合模型的混合系数是2

问题比较简单了，既然不是多维度的，那么协方差矩阵的 正定问题 就归在一个方差值上面，也就这一个方差数大于0即可。

二、高斯混合模型的后验概率

后验概率的公式我们先复习一下：（单维的公式就是简单明了啊）

函数 WebRtcVad_GaussianProbability 就是专门求这个后验概率，它先计算

 1 / s 然后计算 1 / s^2 再  |tmp32| = (x - m)^2 / (2 * s^2), 再计算 exp(-(x - m)^2 / (2 * s^2))，最后算出来  (1 / s) * exp(-(x - m)^2 / (2 * s^2))

暂时还没有看出来 1/sqrt(2*pi) 在哪里，估计在后面，或者忽略了。

注意输入的input是Q4的。实际上求后验概率，就这么简单，但是程序中非出来一个判断函数，这个主要是为了如果要求 x-> exp(-x)

当 |tmp32| = (x - m)^2 / (2 * s^2) （x是均值）这个值非常大的时候，超过一个范围 kCompVar = 22005的时候，认为 exp(-|tmp32|） 接近是 0直接给成0

这下面 令 x  = |tmp32| （下图中的红色的X）, 主要目的是使用了 ”换底公式” ，以前是求exp的幂，现在是求2的幂【2的幂在定点代码中比e的幂好算】

我们主要方向，x --- > exp(-x) 考虑到Q值，Q10的量 另外 log2(exp(1)) = 1.4427
 x是Q10的，最后算出来的exp表达式也得是Q10，所以真正的 x到exp(-x)，应该是

exp(-x/1024)*1024 = 1024*( 2 ^ [log2(e))*(-x/1024)]) = 1024* 2^ (-1.4427* x/1024)

这里面用了一些技巧，主要是为了方便求2个幂，我们给这个表达式上下都乘以一个数，2^[fix(x*1.4427/1024)+1]

2^10 * 2^ (-1.4427* x/1024) = 2^ (10 + -1.4427*x/1024) = 2^(10 + -1.4427*x/1024 +1 + fix(x*1.4427 /1024) ) /2^[fix(x*1.4427/1024)+1]

乘以这个数的主要目的是为了使得  -1.4427*x/1024 + 1 + fix(x*1.4427 /1024) 能是一个不大于1的一个纯小数【小学概念】

上面那个除法表达式分子记为 Y(就是代码中的exp_value)，所以有 Y = 2^(10 + -1.4427*x/1024 + 1 + fix(x*1.4427 /1024) ),另外 分母记为2^[fix(x*1.4427/1024)+1]，最后分子准备右移（除法）就得结果了

对Y除2^10,                           Y/1024 = 2^(-1.4427*x/1024 + 1 + fix(x*1.4427 /1024) )

上面也说了，这个括号里面的数，应该为 1 + α ， α是一个接近0比较小的数，我们利用二项式展开公式，分解2的幂

Y/1024 ≈ 2 + -1.4427*x/1024 + fix(x*1.4427 /1024) 那么Y有

                       Y  = 1024 *（2 + fix(x*1.4427 /1024)-1.4427*x/1024）

                          = 1024* ( 1-x* 1.4427/1024+  fix( x * 1.4427 / 1024)+1)

                         =   1024- x * 1.4427+1024* fix( x * 1.4427 / 1024)+1024

                         =  2^16 - x * 1.4427 - 1024 *  (63) + 1024* fix( x * 1.4427 / 1024)  + 1024

                         =  2^16 - x * 1.4427 - 1024 *  (63 - fix( x * 1.4427 / 1024) ) + 1024

                      而         fix(( 2^16 - x * 1.4427) / 1024)=   63 - fix( x * 1.4427 / 1024); 【的确不是64减】

                      故  Y =     2^16 - x * 1.4427 -  1024*fix(( 2^16 - x * 1.4427) / 1024)  + 1024 = 2^16 - x * 1.4427-  1024*fix(( 2^16 - x * 1.4427) / 1024) + 1024

2^16 - x * 1.4427  是求相反数，代码中的刚从 WEB...MUL...RSFT算出来的 tmp16 = 1.4427* x ；

1024*fix(( 2^16 - x * 1.4427) / 1024) 为了抛掉整数，只留小数部分（我知道这个蓝色表达式求得是整数部分），所以前面要加个“-”

1024 加上1024

再来看代码

分母就不用多说了：  2^[fix(x*1.4427/1024)+1]，除法(Y/tmp16)相当于右移 （exp_value>>tmp16）

22005 是这样算出来的   fix(22005*1.4427/1024)+1  = 32（最大右移数） ，那么 31 * 1024 /1.4427 =  2.2003e+004（倒算出来的，先有32-1）

Tips: 这个整体思路是要计算 x 到 exp(-x/1024)*1024,其中tmp16的值为 tmp16（最终值） = 2^(fix(x*1.4427/1024)+1)

我已经计算出来了 exp(-x/1024)*1024 = Y/tmp16 （令Y为分子，tmp16为分母）

我先计算Y/1024, 为的是这个数比较能用2的幂级数展开近似求，求出来之后, 得到Y，一个除法（Y/tmp16）就是最终结果

代码中为什么是 exp_value >> = tmp16?  它相当于 是在求一个除法，Y >>fix(x*1.4427/1024)+1

也就是 Y / 2^[fix(x*1.4427/1024)+1]

为什么exp的算法最后是个除法？原因是用了“换底公式”都换成2的幂去计算了

三、高斯混合模型的参数更新

参数更新问题，很多博客已经给出了很详细的说明，比如http://blog.csdn.net/shichaog/article/details/52399354  【这里感谢博主】

噪声均值的更新 参考代码 vad_sp.c中的  WebRtcVad_FindMinimum 函数

从这个公式我们就可以看出来了，对于noise的mean增大，比较抠门，尽可能的保持原有的噪声水平不变

对缩小，放的比较开，这是为了保证噪声跟进能比较准确

对于下面的参数更新，我这里做一些啰嗦的说明，以便大家理解的更好一些，【先放成果照片，拜大神，后面我再详细说明】

偏导公式太复杂了，我也记不住，用matlab来算吧

代码最核心的更新部分：GmmProbability函数中