机器学习笔记

机器学习-斯坦福公开课

第1集 机器学习的动机和应用

有一个课程资料网站需要记录一下，时间点不确定

1. ICA algorithm（分开两个声源）【时间：1:02:02】

   [W,s,v]=svd((repmat(sum(x.x,1),size(x,1),1).x)*x');

2. 4个学习型算法控制的机器人或车【时间：1:05:48】

3. 推荐使用Matlab或Octave

Octave常用操作

转置操作用上引号实现，inv求矩阵的逆，det求矩阵的特征值，trace求矩阵的迹。

参考资料

Octave是一种高层解释类编程语言，旨在解决线性和非线性的数值计算问题。Octave为GNU项目下的开源软件，早期版本为命令行交互方式，4.0.0版本发布基于QT编写的GUI交互界面。Octave语法与Matlab语法非常接近，可以很容易的将matlab程序移植到Octave。同时与C++,QT等接口较Matlab更加方便

• Octave官网
• Octave 和MATLAB的区别？
• Matlab官网
• Octave入门基础
• 科学音频处理（一）：怎样使用 Octave 对音频文件进行读写操作
• 使用octave的人工神经网络包

第2集 监督学习应用.梯度下降

1. 线性回归是一类算法中的一种
2. 线性回归、最小二乘法
3. 梯度下降（Gradient Descent)可得到局部最小，可能会有多个

• 随机梯度下降算法收敛速度比梯度下降算法快得多，不需要全部样本集，但它不倒准确收敛到最小值，可能很接近最小值。

第3集 欠拟合与过拟合的概念

1. 说明了权重线性回归算法
   1. 用此算法成功解决了直升机自动驾驶问题；
   2. 这个算法的思路类似导数，并且适用于无空训练集，分析对于时间序列最新的数据会取较大权重，对下一步预测效果应该会较好。
2. 从概率论方面说明了最小二乘法的正确性的一个证明，假设误差服从高斯分布。最大似然性（likelihood）
3. 简介了逻辑回归的函数。
4. 所有学习算法最后的评价函数类似，这是一个规律，后面做说明。
5. 【1:11:00】开始总结本课。

第4集 牛顿方法

1. 多种算法，极大似然估计
2. 牛顿方法收敛速度非常快，二次收敛【0:11:45】，每次迭代后的误差会是上次的平方。牛顿方法会受到特征数的影响，它需要特征数维度大小矩阵的逆。
3. 指数分布族，包括伯努利分布、高斯分布、泊松分布、伽马分布。。。

第5集 生成学习算法

看到【00:06:51】

第6集 朴素贝叶斯算法

其中举例为垃圾邮件分类，是否出现某些词，可做为备选算法
多元贝努利时间模型

第7集 最优间隔分类器问题

第8集 顺序最小优化算法

第9集 经验风险最小化

第10集 特征选择

第11集 贝叶斯统计正则化

第12集 K-means算法

参考资料

• K-means百度百科
• 深入浅出K-Means算法
• 基本Kmeans算法介绍及其实现 有算法实现
• 聚类算法之K-mean算法

第13集 高斯混合模型

第14集 主成分分析法

第15集 奇异值分解

第16集 马尔可夫决策过程

第17集 离散与维数灾难

第18集 线性二次型调节控制

第19集 微分动态规划

第20集 策略搜索

参考资料

• 只需十四步：从零开始掌握Python机器学习（附资源）
• scikit-learn官网
• Anaconda官网下载