[Machinie Learning] 吴恩达机器学习课程笔记——Week2

Machine Learning by Andrew Ng

吴恩达机器学习课程学习笔记——Week 2
本人学习笔记汇总 合订本
✓ 课程网址 standford machine learning
参考资源

• 课程笔记
• python版作业

学习提纲

• Environment Setup
• Multivariate Linear Regression
• Computing Parameters Analytically
• Submitting Programming Assignments
• Octave/Matlab Tutorial

Environment Setup

下载Matlab或者Otave，参考链接。
如果使用python完成作业，则可以跳过本节内容。

Multivariate Linear Regression 多变量线性回归

1.Multiple Features 多特征

$x_j^i$ denotes the $jth$ feature of $x^i$, which is the $ith$ training example.
上标代表样本序号，下标代表特征序号。

The hypothesis also needs to be updated:

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$

for convenience of notation, define $x_0=1$.
为了方便额外添加一个维度，$x_0=1$：

$x=[x_0,x_1,\cdots ,x_n{]}^T\in R^{n+1}$

$\theta =[{\theta }_0,{\theta }_1,\cdots ,{\theta }_n{]}^T\in R^{n+1}$

then we have 从而得到：

$h_{\theta }(x)={\theta }^{T}x$

⬆️ is called Multivariate Linear Regression 上面的公式称为多变量线性回归。

2.Gradient Descent for Multiple Variables

Gradient Descent更新的写法：

3.Gradient Descent in Practice 1 - Feature Scaling

Gradient Descent有许多trick，第一个是特征伸缩。

Try to scale features into approximately the same order 把所有特征的数值伸缩到差不多大小的范围内。

• make gradient descent run faster and converge 目的是为了梯度下降更快，更容易收敛。

Mean Normalization 均值归一化

是 feature scaling 的一种常见手段

更新公式

$x_1\leftarrow \frac{x_1-{\mu }_1}{s_1}$

4.Gradient Descent in Practice 2 - Learning Rate

Gradient Descent有许多trick，第二个是调整学习率。

$J(\theta )$ should decrease after every iteration if gradient descent is working correctly.
如果梯度下降算法正确，损失函数应该每次迭代后都会下降。

Mathematically, for a sufficiently small $\alpha$ , $J(\theta )$ should decrease on every iteration
从数学上可以证明，如果选择充分小的$\alpha$， 损失函数是每次迭代后都会下降的。

Normally, people decide whether to stop by looking the plot instead of a threshold
通常，决定训练是否结束是通过看图（*Ang本人更喜欢）或者设置一个阈值来实现的。

Summary 总结

• too small, slow convergence 学习率过小导致收敛慢
• too large, may no decrease on every iteration or may not converge 学习率过大，导致梯度不一定每次迭代后下降，或者导致最终无法收敛
• try with [.001, 0.01, 0.1, 1], then [0.005 0.05 0.5] … 可以“尝试”出比较好的学习率
  

5.Features and Polynomial Regression 多项式回归

quadratic, cubic function 二次，三次函数
importance to scale features

• 多项式回归中，特征伸缩显得更加重要
  
  square root function 平方根函数
  

Computing Parameters Analytically 计算解析解

解析法求解 $\theta$

1.Normal Equation 正规方程

concretely 具体来说
take the partial derivative of J with respect to every parameter of $\theta$ in J

the optimal solution is

$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

A comparison between gradient descent and normal equation
m training examples and n features

2.Normal Equation Non-invertibility 正规方程-不可逆

What if $X^{T}X$ is not invertible? (i.e. singular or degenerate)
如果$X^{T}X$是不可逆矩阵，该如何计算解析解？

In octave, pinv gives the right $\theta$ even $X^{T}X$ is not invertible
1.如果使用Octave，则可以用pinv求解，无需考虑$X^{T}X$ i不可逆的情况。

2.如果需要计算解析解，考虑下面两种情况

Problems that $X^{T}X$ is sometimes non-invertible:

• redundant features (e.g. $x_1$ is correlated with $x_2$ in a way that holds $x_1=2.5\ast x_2$)
  存在冗余特征
• too many features ( e.g. $m\le n$)
  特征数n大于样本数m

Solution 解决方案

• Delete some features or use regularization
  删除一些特征或者使用regularization（未完待续）

Submitting Programming Assignments

略。

Octave/Matlab Tutorial

略。