概率分布

本次写作原因是看到微博里的一篇关于probability distribution的文章，有兴趣，边看了看，虽然失之盲目，比发呆烦躁还是要好。

关键词：伯努利分布，二项分布，β分布，阶乘，Γ函数，先验分布，似然函数，后验分布，高斯分布，t分布。

文章首先复习了一下伯努利分布（掷硬币），扩展到二项分布（多次掷硬币），并顺势延伸到二项分布似然函数的共轭分布——β分布。由于β分布与二项分布的似然函数共轭，二者形式一致，只不过把阶乘扩充为Γ函数。同时，基于共轭分布的性质，β分布与二项分布似然函数的乘积依旧为β分布，只不过参数发生变化。

如图2.3，以β分布为二项分布的先验分布，乘以单次观测的二项分布似然函数，得到的后验分布依然为β分布，不过形状发生变化。

 2.3 序列数据流

 这种利用数据来矫正先验分布的序列方法 很适用于实时学习，可以用一个观测数据也可以用small batches。由于该方法在一组观测后立即删除上改组数据，因此不需要存储全部数据，可用于大规模数据集。

 多项分布作为似然函数

 狄利克雷作为先验分布

终于轮到正态分布，源于对随机变量误差分布的研究。一元高斯分布具有优良的性质，其曲线为优雅如钟形，对称于均值线，且大部分数据集中于距离均值线3个标准值的范围内。高斯首先假设随机误差分布的最大似然解是算术平均值，并将随机误差的正态分布与最小二乘联系到了一块，发现二者等价。