机器学习 笔记（继续更新）

学习内容跟随“吴恩达机器学习系列课程”。

目录

1. 具有一个特征的学习算法（linear regression 线性回归），代价函数 ​编辑的由来，等高图

2. 可以最小化代价函数的梯度下降法（gradient descent），以及对于​编辑、学习率​编辑、导数项的通俗解释

3. 具有多个变量或特征的学习算法（multivariate linear regression 多元线性回归），它的假设函数和​的迭代

4. 将gradient descent应用于multivariate linear regression上，思考如何能更好的应用于它。使用feature scaling（特征缩放）以及mean normalization（均值归一化），让gradient descent更快的收敛。

5. 思考学习率​编辑对于收敛速度

6. 对于特征的选择和多项式回归的思考（不同的特征选择会产生不同的模型，以及模型是否能够最大程度的拟合样本数据）

7. normal equation 正规方程法（在解决linear regression中，它相对于gradient descent是一种更好的替代算法）。可以通过对于​编辑的计算直接算出​编辑的最小值。无需迭代，无需选择学习率；但是，特征n数量large，则计算速度会很慢。

8. Octave环境的学习，涉及一些基本的语言

        8.1 复杂运算

9.使用Octave绘制数据，数据可视化​编辑

10. Octave中的控制语句（for,while,if,break的使用）

11. 在Octave中定义和调用函数，并且每一种编程语言都有各自完备的线性矩阵库。使用它们可以极大的增加运行效率和减少代码量。

12. logistic regression（回归算法），针对classification问题，y=1或者y=0两种情况的出现。线性回归并不能很好的解决classification问题。同时，本课程还解释了不同的模型拟合方式，即直线拟合或者不常规的拟合曲线。logistic regression主要依靠的是sigmoid function /logistc function来进行计算。并引入新的概念，决策边界(desicion boundary)。我们必须明确，training set决定，决定decision boundary。

---

机器学习的定义：计算机程序从经验E中学习解决某一任务T进行某一性能度量P，通过P测试在T上的表现因为经验E而提高。

换句话说，任务T上的性能在得到经验E之后会提高性能度量P。

不同类型的学习算法：supervised learning & unsupervised learning

supervised learning（监督学习）：我们教会计算机做某件事，是一种“right answers” given，有样本的学习。

unsupervised learning（无监督学习）：我们让计算机自己学习，都具有相同的标签或者都没有标签。

之后还有，reinforcement learning强化学习，recommender system推荐系统

Tips：如果我们使用正确的编程环境，许多学习算法都可以是很简短的程序。

编程环境的选择：Matlab或者Octave（一个免费的开源软件）

1. 具有一个特征的学习算法（linear regression 线性回归），代价函数 的由来，等高图

2. 可以最小化代价函数的梯度下降法（gradient descent），以及对于、学习率、导数项的通俗解释

3. 具有多个变量或特征的学习算法（multivariate linear regression 多元线性回归），它的假设函数和的迭代

4. 将gradient descent应用于multivariate linear regression上，思考如何能更好的应用于它。使用feature scaling（特征缩放）以及mean normalization（均值归一化），让gradient descent更快的收敛。

5. 思考学习率对于收敛速度

6. 对于特征的选择和多项式回归的思考（不同的特征选择会产生不同的模型，以及模型是否能够最大程度的拟合样本数据）

7. normal equation 正规方程法（在解决linear regression中，它相对于gradient descent是一种更好的替代算法）。可以通过对于的计算直接算出的最小值。无需迭代，无需选择学习率；但是，特征n数量large，则计算速度会很慢。

8. Octave环境的学习，涉及一些基本的语言

        8.1 复杂运算

 

9.使用Octave绘制数据，数据可视化

10. Octave中的控制语句（for,while,if,break的使用）

11. 在Octave中定义和调用函数，并且每一种编程语言都有各自完备的线性矩阵库。使用它们可以极大的增加运行效率和减少代码量。

12. logistic regression（回归算法），针对classification问题，y=1或者y=0两种情况的出现。线性回归并不能很好的解决classification问题。同时，本课程还解释了不同的模型拟合方式，即直线拟合或者不常规的拟合曲线。logistic regression主要依靠的是sigmoid function /logistc function来进行计算。并引入新的概念，决策边界(desicion boundary)。我们必须明确，training set决定，决定decision boundary。