概率机器学习笔记

1.单变量高斯混合分布

概率机器学习笔记_第1张图片

概率机器学习笔记_第2张图片

原书对结果的得出没有给出解释,我比较困惑,网上找到了一篇推导的帖子,看完就明白了。

式2.49的解释:

红框即为关键处,这是显而易见的期望,不过是条件方差的期望:

概率机器学习笔记_第3张图片

概率机器学习笔记_第4张图片

该证明的作者:@MISC {16609,
    TITLE = {What is the variance of the weighted mixture of two gaussians?},
    AUTHOR = {whuber (https://stats.stackexchange.com/users/919/whuber)},
    HOWPUBLISHED = {Cross Validated},
    NOTE = {URL:https://stats.stackexchange.com/q/16609 (version: 2015-05-20)},
    EPRINT = {https://stats.stackexchange.com/q/16609},
    URL = {https://stats.stackexchange.com/q/16609}
}

这是一个完美的 \mathbb{V}\left[X\right]=E_Y\left[\mathbb{V}\left.\left[X\mid Y\right]\right]+\mathbb{V}_Y\left[\begin{array}{c}\mu_{X\mid Y}\end{array}]\right.\right.的推导。

E_Y\left[\mathbb{V}\left.\left[X\mid Y\right]\right]\right.=\sum_i{p_i \sigma^2_i}

\mathbb{V}_Y\left[\begin{array}{c}\mu_{X\mid Y}\end{array}]\right.={\sum_i{p_i\left(\mu_i^{(1)}\right)^2}-\left(\sum_i{p_i\mu_i^{(1)}}\right)^2.}

式2.50的解释:

在刚刚的推导里如下公式,按这个也可以解

概率机器学习笔记_第5张图片

但是作者的思路用了\overline{\mu},这就让人看不懂,所以询问了GPT,GPT给出了解答: 

概率机器学习笔记_第6张图片

 这两个证明都是基于直觉的,所以容易理解。

你可能感兴趣的:(笔记,机器学习)