高斯相乘引理（Gaussian Reproduction Lemma）
个人博客：www.qiuyun-blog.cn
高斯PDF
- 标量实高斯分布
N ( x ∣ a , A ) = 1 2 π A exp [ − ( x − a ) 2 2 A ] \mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\right] N(x∣a,A)=2πA1exp[−2A(x−a)2] - 标量复高斯分布
N c ( x ∣ a , A ) = 1 π A exp [ − ∣ ∣ x − a ∣ ∣ 2 A ] \mathcal{N}_c(x|a,A)=\frac{1}{\pi A}\exp \left[-\frac{||x-a||^2}{A}\right] Nc(x∣a,A)=πA1exp[−A∣∣x−a∣∣2] - 矢量实高斯分布
N ( x ∣ a , A ) = ( 2 π ) − N 2 det ( A ) − 1 2 exp ( − 1 2 ( x − a ) T A − 1 ( x − a ) ) \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})=(2\pi)^{-\frac{N}{2} }\det(\boldsymbol{A})^{-\frac{1}{2} }\exp \left({-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{a})^T\boldsymbol{A}^{-1}(\boldsymbol{x}-\boldsymbol{a})}\right) N(x∣a,A)=(2π)−2Ndet(A)−21exp(−21(x−a)TA−1(x−a)) 其中 N N N表示 x \boldsymbol{x} x的维度。 - 矢量复高斯分布
N c ( x ∣ a , A ) = 1 det ( π A ) exp [ − ( x − a ) H A − 1 ( x − a ) ] \mathcal{N}_c(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})=\frac{1}{\det(\pi \boldsymbol{A})}\exp \left[{-(\boldsymbol{x}-\boldsymbol{a})^H\boldsymbol{A}^{-1}(\boldsymbol{x}-\boldsymbol{a})}\right] Nc(x∣a,A)=det(πA)1exp[−(x−a)HA−1(x−a)]
标量实高斯相乘引理
给定高斯概率分布 N ( x ∣ a , A ) \mathcal{N}(x|a,A) N(x∣a,A)和 N ( x ∣ b , B ) \mathcal{N}(x|b,B) N(x∣b,B)，存在
N ( x ∣ a , A ) N ( x ∣ b , B ) = N ( 0 ∣ a − b , A + B ) N ( x ∣ a A + b B 1 A + 1 B , 1 1 A + 1 B ) \mathcal{N}(x|a,A)\mathcal{N}(x|b,B)=\mathcal{N}(0|a-b,A+B)\mathcal{N} \left({x\left|\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }\right.}\right) N(x∣a,A)N(x∣b,B)=N(0∣a−b,A+B)N(x∣∣∣∣∣A1+B1Aa+Bb,A1+B11) 其中 N ( x ∣ a , A ) \mathcal{N}(x|a,A) N(x∣a,A)表示以均值为 a a a，方差为 A A A，自变量为 x x x的高斯概率密度函数。
证：
- 指数部分
N ( x ∣ a , A ) N ( x ∣ b , B ) ∝ exp [ − ( x − a ) 2 2 A − ( x − b ) 2 2 B ] ∝ exp [ − x 2 ( 1 2 A + 1 2 B ) + x ( a A + b B ) ] ∝ exp [ − ( 1 2 A + 1 2 B ) ( x − a A + b B 1 A + 1 B ) 2 ] ∝ N ( x ∣ a A + b B 1 A + 1 B , 1 1 A + 1 B ) \mathcal{N}(x|a,A)\mathcal{N}(x|b,B) \propto \exp\left[{-\frac{(x-a)^2}{2A}-\frac{(x-b)^2}{2B} }\right]\qquad \qquad \\ \qquad \qquad \qquad \qquad \quad \ \ \ \propto \exp{\left[{-x^2\left({\frac{1}{2A}+\frac{1}{2B} }\right)+x\left({\frac{a}{A}+\frac{b}{B} }\right)}\right]}\\ \qquad \qquad \qquad \qquad \ \ \propto \exp{\left[{-(\frac{1}{2A}+\frac{1}{2B})\left({x-\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} }}\right)^2}\right]}\\ \qquad \ \ \ \propto \mathcal{N} \left({x\left|\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }\right.}\right) N(x∣a,A)N(x∣b,B)∝exp[−2A(x−a)2−2B(x−b)2] ∝exp[−x2(2A1+2B1)+x(Aa+Bb)] ∝exp⎣⎡−(2A1+2B1)(x−A1+B1Aa+Bb)2⎦⎤ ∝N(x∣∣∣∣∣A1+B1Aa+Bb,A1+B11)
其中 ∝ \propto ∝表示正比于。 - 系数部分（显然）
1 2 π A 1 2 π B = 1 2 π ( A + B ) 1 2 π A B A + B \frac{1}{\sqrt{2\pi A} }\frac{1}{\sqrt{2\pi B} }=\frac{1}{\sqrt{2\pi (A+B)} }\frac{1}{\sqrt{2\pi \frac{AB}{A+B} }} 2πA12πB1=2π(A+B)12πA+BAB1因此
N ( x ; a , A ) N ( x ; b , B ) = N ( 0 ; a − b , A + B ) N ( x ; a A + b B 1 A + 1 B , 1 1 A + 1 B ) \mathcal{N}(x;a,A)\mathcal{N}(x;b,B)=\mathcal{N}(0;a-b,A+B)\mathcal{N} \left({x;\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }}\right) N(x;a,A)N(x;b,B)=N(0;a−b,A+B)N(x;A1+B1Aa+Bb,A1+B11)
从高斯相乘引理，我们可以得到以下两个结论
- 两个高斯PDF相乘正比于一个新的高斯PDF。
- 两个Gaussian PDF相乘，其实是在降方差， ( 1 A + 1 B ) − 1 ≤ min ( A , B ) \left({\frac{1}{A}+\frac{1}{B} }\right)^{-1} \leq \min (A,B) (A1+B1)−1≤min(A,B)
矢量实高斯相乘引理
给定矢量实高斯分布 N ( x ∣ a , A ) \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A}) N(x∣a,A)， N ( x ∣ b , B ) \mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B}) N(x∣b,B)
N ( x ∣ a , A ) N ( x ∣ b , B ) = N ( 0 ∣ a − b , A + B ) N ( x ∣ c , C ) \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})=\mathcal{N}(\boldsymbol{0}|\boldsymbol{a}-\boldsymbol{b},\boldsymbol{A}+\boldsymbol{B})\mathcal{N}(\boldsymbol{x}|\boldsymbol{c},\boldsymbol{C}) N(x∣a,A)N(x∣b,B)=N(0∣a−b,A+B)N(x∣c,C)其中
C = ( A − 1 + B − 1 ) − 1 c = C ⋅ ( A − 1 a + B − 1 b ) \boldsymbol{C}=\left({\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1} }\right)^{-1}\\ \quad \quad \boldsymbol{c}=\boldsymbol{C}\cdot \left(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b}\right) C=(A−1+B−1)−1c=C⋅(A−1a+B−1b)
证：
- 指数部分
N ( x ∣ a , A ) N ( x ∣ b , B ) ∝ exp [ − 1 2 ( x − a ) T A − 1 ( x − a ) − 1 2 ( x − b ) T B − 1 ( x − b ) ] ∝ exp [ − 1 2 x T ( A − 1 + B − 1 ) x − 2 x T ( A − 1 a + B − 1 b ) ] ∝ N ( x ∣ c , C ) \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B}) \propto \exp \left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{a})^T\boldsymbol{A}^{-1}(\boldsymbol{x}-\boldsymbol{a})-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{B}^{-1}(\boldsymbol{x}-\boldsymbol{b})}\right]\\ \qquad \qquad \qquad \quad \ \propto \exp \left[{-\frac{1}{2}\boldsymbol{x}^T(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})\boldsymbol{x}-2\boldsymbol{x}^T(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b})}\right]\\ \propto \mathcal{N}\left({\boldsymbol{x}|\boldsymbol{c},\boldsymbol{C} }\right) \qquad \qquad \qquad\qquad \qquad N(x∣a,A)N(x∣b,B)∝exp[−21(x−a)TA−1(x−a)−21(x−b)TB−1(x−b)] ∝exp[−21xT(A−1+B−1)x−2xT(A−1a+B−1b)]∝N(x∣c,C) - 系数部分
∣ A ∣ ∣ B ∣ = ∣ A + B ∣ ∣ ( A − 1 + B − 1 ) − 1 ∣ ⇒ ∣ A B ( A − 1 + B − 1 ) ∣ = ∣ A + B ∣ ⇒ ∣ A + B ∣ = ∣ A + B ∣ |\boldsymbol{A}| |\boldsymbol{B}|=|\boldsymbol{A}+\boldsymbol{B}| |(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}|\\ \Rightarrow \ |\boldsymbol{AB}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})|=|\boldsymbol{A}+\boldsymbol{B}| \qquad \quad \ \ \\ \Rightarrow \ |\boldsymbol{A}+\boldsymbol{B}|=|\boldsymbol{A}+\boldsymbol{B}| \qquad \qquad \qquad \qquad\ ∣A∣∣B∣=∣A+B∣∣(A−1+B−1)−1∣⇒ ∣AB(A−1+B−1)∣=∣A+B∣ ⇒ ∣A+B∣=∣A+B∣
复高斯相乘引理
- 标量复高斯相乘引理
N c ( x ∣ a , A ) ⋅ N c ( x ∣ b , B ) = N c ( 0 ∣ a − b , A + B ) N c ( x ∣ a A + b B 1 A + 1 B , 1 1 A + 1 B ) \mathcal{N}_c(x|a,A)\cdot\mathcal{N}_c(x|b,B)=\mathcal{N}_c(0|a-b,A+B)\mathcal{N}_c\left({x\left|\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }\right.}\right) Nc(x∣a,A)⋅Nc(x∣b,B)=Nc(0∣a−b,A+B)Nc(x∣∣∣∣∣A1+B1Aa+Bb,A1+B11)
证明过程可以参考标量实高斯相乘引理。 - 矢量复高斯相乘引理
N c ( x ∣ a , A ) ⋅ N c ( x ∣ b , B ) = N c ( 0 ∣ a − b , A + B ) ⋅ N c ( x ∣ c , C ) \mathcal{N}_c(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\cdot\mathcal{N}_c(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})=\mathcal{N}_c(0|a-b,A+B)\cdot\mathcal{N}_c(\boldsymbol{x}|\boldsymbol{c},\boldsymbol{C}) Nc(x∣a,A)⋅Nc(x∣b,B)=Nc(0∣a−b,A+B)⋅Nc(x∣c,C)其中
C = ( A − 1 + B − 1 ) − 1 c = C ⋅ ( A − 1 a + B − 1 b ) \boldsymbol{C}=\left({\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1} }\right)^{-1}\\ \qquad \boldsymbol{c}=\boldsymbol{C}\cdot \left(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b}\right) C=(A−1+B−1)−1c=C⋅(A−1a+B−1b)证明过程可以参考矢量实高斯相乘引理。