吴恩达机器学习笔记目录

吴恩达机器学习笔记目录

最近在学习吴恩达机器学习，学习过程中发现颇有乐趣，便顺手梳理一下，整理成笔记形式，供同学们参考。 以下是课程目录，大家也可以有选择性的参阅。初次整理，不足之处请见谅。

一、 引言(Introduction)

1.1 欢迎参加《机器学习》

1.2 什么是机器学习？

1.3 监督学习

1.4 无监督学习

二、单变量线性回归(Linear Regression with One Variable)

2.1 模型描述

2.2 代价函数

2.3 代价函数（一）

2.4 代价函数（二）

2.5 梯度下降

2.6 梯度下降知识点总结

2.7 线性回归的梯度下降

三、线性代数回顾(Linear Algebra Review)

3.1 矩阵和向量

3.2 加法和标量乘法

3.3 矩阵向量乘法

3.4 矩阵乘法

3.5 矩阵乘法的性质

3.6 逆和转置

四、多变量线性回归(Linear Regression with Multiple Variables)

4.1 多维特征

4.2 多元梯度下降伐

4.3 多元梯度下降法实践1-特征缩放

4.4 多元梯度下降法实践2-学习率

4.5 特征和多项式回归

4.6 正规方程（区别于迭代方法的直接解法）

4.7 正规方程在矩阵不可逆情况下的解决方法

4.8 编程小技巧

五、Octave/Matlab教程(Octave/Matlab Tutorial)

5.1 基本操作

5.2 移动数据

5.3 计算数据

5.4 数据绘制

5.5 控制语句：for，while，if语句

5.6 矢量

5.7 工作和提交的编程练习

六、逻辑回归(Logistic Regression)

6.1 分类问题

6.2 假设陈述

6.3 决策界限

6.4 代价函数

6.5 简化代价函数和梯度下降

6.6 高级优化

6.7 多元分类：一对多

七、正则化(Regularization)

7.1 过拟合问题

7.2 代价函数

7.3 线性回归的正则化

第八、神经网络学习(Neural Networks :
Learning)

8.1 非线性假设

8.2 神经元和大脑

8.3 模型表示一

8.4 模型表示二

8.5 样本和直观理解一

8.6 样本和直观理解二

8.7 多类分类

九、神经网络参数的反向传播算法

9.1 代价函数

9.2 反向传播算法

9.3 反向传播算法的直观理解

9.4 使用注意：展开参数

9.5 梯度检测

9.6 随机初始化

9.7 组合到一起

9.8 无人驾驶

十、应用机器学习的建议(Advice for Applying Machine Learning)

10.1 决定下一步做什么

10.2 评估假设

10.3 模型选择和训练、验证、测试集

10.4 诊断偏差和方差

10.5 正则化和偏差、方差

10.6 学习曲线

10.7 决定下一步做什么

十一、机器学习系统设计(Machine Learning System Design)

11.1 确定执行的优先级

11.2 误差分析

11.3 不对称性分类的误差评估

11.4 精确度和召回率的权衡

11.5 机器学习数据

十二、支持向量机(Support Vector Machines)

12.1 优化目标

12.2 直观上对大间隔的理解

12.3 大间隔分类器的数学原理

12.4 核函数一

12.5 核函数二

12.6 使用SVM

十三、无监督学习

13.1 无监督学习

13.2 K-Means算法

13.3 优化目标

13.4 随机初始化

13.5 选取聚类数量

十四、降维(Dimensionality Reduction)

14.1 目标一：数据压缩

14.2 目标二：数据可视化

14.3 主成分分析问题规划一

14.4 主成分分析问题规划二

14.5 主成分数量选择

14.6 压缩重现

14.7 应用PCA的建议

十五、异常检测(Anomaly Detection)

15.1 问题的动机

15.2 高斯分布

15.3 算法

15.4 开发和评估异常检测系统

15.5 异常检测 VS 监督学习

15.6 选择特征

15.7 多元高斯分布

15.8 使用多元高斯分布的异常检测

十六、推荐系统(Recommender Systems)

16.1 问题规划

16.2 基于内容的推荐算法

16.3 协同过滤

16.4 协同过滤算法

16.5 矢量化：低秩矩阵分解

16.6 实施细节：均值规范化

十七、大规模机器学习(Large Scale Machine Learning)

17.1 学习大数据集

17.2 随机梯度下降

17.3 Mini-Batch 梯度下降

17.4 随机梯度下降收敛

17.5 在线学习

17.6 减少映射与数据并行

十八、应用实例：图片文字识别(Application Example: Photo OCR)

18.1 问题描述与 OCR pipeline

18.2 滑动窗口

18.3 获取大量数据和人工数据

18.4 上限分析：下一步工作的 pipeline

十九、总结(Conclusion)

19.1 总结和致谢