一图了解机器学习底层原理

机器学习脉络框架如下图所示:
由极大似然估计可以推导出KL散度、贝叶斯估计、贝叶斯参数估计、HMM参数估计以及正态参数估计。
首先针对KL散度，KL散度是距离度量的一种方式。距离度量的方式还包含着：欧式距离、余玄距离、杰卡德相似系数、Hellinger距离、交叉熵、困惑度等。其中Hellinger距离可以推导出KL散度，根据KL散度可以推导出交叉熵，根据交叉熵可以推导出困惑度。针对余玄相似度，可以推导出Person相似系数。通过Person相似系数可以推导出协方差。协方差可以根据方差推导出来。方差可以与期望相联系。通过概率可以推导出期望。概率是针对离散型随机变量。针对连续型随机变量为概率密度。通过概率密度可以推导出累积分布函数。通过累积分布函数可以推导出Sigmoid函数。通过伯努利分布可以推导出Sigmoid函数。其中伯努利分布可以与二项分布想联系，二项分布可以与多项分别相联系。并且二项分布的共轭分布为Beta分布，多项分布的共轭分布为狄利克雷分布。Beta分布通过与gamma分布相联系。通过狄利克雷分布可以推导出LDA。
针对于贝叶斯估计可以与拉普拉斯平滑相联系，拉普拉斯平滑是一种平滑方法。平滑方法包括两大类：加1法和减值法。其中加1法包括伯努利模型和多项式模型以及混合模型。这三个模型都可以用来处理重复词。减值法包括：线性剪枝法、绝对剪枝法、回退法以及Good-Turing方法。
针对朴素贝叶斯参数估计：通过贝叶斯在条件独立假设下可以推导出朴素贝叶斯。贝叶斯可以与链式法则相联系。链式法则去除独立假设可以推导出联合概率链。联合概率链是对N-gram的拟合。通过链式法则可以与贝叶斯网络相联系。贝叶斯网络包括有向图和无向图以及条件独立假设。其中有向图包括LDA和HMM。无向图包括CRF。条件独立假设包括三种独立假设方式。
针对HMM参数估计可以由EM相联系。EM可以延伸出HMM、PCFG以及GMM。HMM由前后向算法、维特比算法以及Baum-Welch算法组成。PCFG由内外向算法、维特比算法以及Baum-Welch算法组成。
针对正态参数估计是由正态分布来推导的。正态分布可以与BN网络、正则化相联系。并且正态分布可以由中心极限定理导出。

以上是自己对于整个架构的大体分析，有什么不懂的可以留言。