ML/最小二乘/梯度下降

之前一直搞不清楚这几个算法在机器学习中的区别。今天就让我们为他们揭开神秘的面纱！

1. 原理

首先我们需要明白：
这里构建一个的机器学习方法，
首先，需要根据样本的分布特点确定模型。
然后，在模型的基础上，为了让模型更好地拟合当前数据，需要有一个目标，即Cost Function。那么问题来了，这个目标损失函数是怎么选的呢？答案就是：用最小二乘和极大似然估计这两种策略来构造、推导出来的。
最后，有了目标函数，我们需要对目标损失函数求最值，而这个时候，就要用到优化算法（比如梯度下降法、牛顿法、拟牛顿法等）。而对于用ML和最小二乘构造的损失函数，直接偏导为0就可以求参，不必使用优化算法。

2. 总结

三者实际上没有任何的可比性
前两者是用于推导损失函数，最后一个用于对损失函数求最优。

3. 举例

最小二乘法：为使求得的数据与实际数据之间误差很小，所以就使求得的数据与实际数据之间误差的平方和为最小。
应用场景：线性回归

---

最大似然估计：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大（n个样本的联合概率值最大），而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。
应用场景：朴素贝叶斯、最大熵模型、EM（期望极大）算法

---

梯度下降法：求解局部最优解
应用场景：感知机、神经网络