CS229吴恩达斯坦福机器学习课程总结

学习的过程总是。

最开始学习课程的时候激情满满，写的很认真，到了后面越来越懒，视频也没看，纯粹的看别人的博客把写的比较清楚明白的截图了。但是，以后理解的更深入之后还会对前面的文章进行修正。

下面主要对整个CS229课程的一些总结：

（一）

监督学习：分为判别学习算法求P(y|x)①-③ 和生成学习算法求哪个P(x|y=。。。)大。

① 线性回归——预测，想象y=kx+b，用一条直线来拟合样本，主要是找代价函数求预测和真实值的误差最小

求解代价函数最小化的方法可以用梯度下降法（批量，随机，小批量），也可以用正规方程组直接解求；

针对过拟合和欠拟合还提出了局部权重线性回归。

直达链接：机器学习（五）：CS229ML课程笔记（1）——线性回归

②逻辑回归——分类，想象一条线把两个类别分开，也是找代价函数，是找最大似然估计最大，可以使用梯度上升法

感知机学习法和逻辑回归的区别是选择的预测函数不同，逻辑回归是sigmoid函数，感知机是阈值函数，直接输出0或1；

牛顿法也可以使最大似然估计最大化。

直达链接：机器学习（六）：CS229ML课程笔记（2）——逻辑回归

③广义线性模型：线性回归和逻辑回归（二分类）都算是广义线性模型的一种。

如何根据数据的类别来构建合适的广义线性模型呢，比如泊松分布在预测游客数量方面能建立很好的模型；

文章中以多分类回归为例介绍了详细的过程。

先将需要构建的分布和指数分布建立映射关系，找到指数分布η和概率的关系，再根据η和样本θTx的关系（三个假设）找到概率和样本的关系，最后用最大似然估计求解。

直达链接：机器学习（七）：CS229ML课程笔记（3）——广义线性模型

④ 高斯判别分析（GDA）:GDA解决的是连续型随机变量的分类问题。也就是训练集的特征值x是随机连续值，比如可以是0-15任意的整数小数无穷数。假设样本服从高斯正太分布，相对于逻辑回归做了更强的模型假设。

⑤ 朴素贝叶斯（NB）：NB针对的是特征向量x是离散值的问题.(对于特征是连续值的情况，我们也可以采用分段的方法来将连续值转化为离散值)。比如说邮件分类问题。因为x选择的模型不同，又有了NB-MBEM和NB-MEM，为了使模型在对没有出现过的样本有更好的结果，要使用拉普拉斯平滑。

上面两个的直达链接：机器学习（八）：CS229ML课程笔记（4）——生成学习，高斯判别分析，朴素贝叶斯

⑥支持向量机（SVM）：主要针对非线性分类方法。通过核函数，把原坐标系里线性不可分的数据投影到另一个空间，尽量使得数据在新的空间里线性可分。目标函数是使函数间隔最大（保证分类的准确性和正确性）， 再使几何函数最大使函数间隔唯一，从而得到最优间隔分类器。为了使最优间隔分类器对异常值不敏感，我们在目标函数中加入了惩罚系数，变成了软间隔分类器。这里的求解的方法是坐标上升法的变形——SMO算法。

直达链接：机器学习（九）：CS229ML课程笔记（5）——支持向量机（SVM），最优间隔分类，拉格朗日对偶性，坐标上升法，SMO

（二）

非监督学习：

监督学习和非监督学习的差别就在于样本数据是否有已知的标签。

① K-均值算法：最常见的入门算法，帮助理解先。

② 最大期望算法（EM）:在使用最大似然法求最大时有两个未知量θ和y可以用此方法求解。

原理用别人博客这个图表示就很好了。

直达链接：机器学习（十二）：CS229ML课程笔记（8）——K-means，EM算法

（三）

到此为止非监督、监督学习算法部分就结束了，紧接着要学习一些基础的学习理论，对后期的深入学习很重要很重要很重要。没啥可说的，自己去看。

直达链接：

机器学习（十）：CS229ML课程笔记（6）——学习理论：偏差/方差、经验风险最小化（ERM）、联合界、一致收敛

机器学习（十一）：CS229ML课程笔记（7）——模型选择，特征选择

数据降维方法：

① 因子分析：从原始高维数据中，挖掘出仍然能表现众多原始变量主要信息的低维数据。

②主成分分析：分析维度属性的主要成分表示。 

③独立成分分析：从一组混合的观测信号中分离出独立信号。

直达链接：机器学习（十三）：CS229ML课程笔记（9）——因子分析、主成分分析（PCA）、独立成分分析（ICA）

以后还会继续更新~有错误希望大家及时指出。谢谢