吴恩达机器学习笔记（2）
4.2多变量梯度下降
和单变量线性回归一样，我们在多变量线性回归中也给他构建一个代价函数，这个代价函数是所有建模误差的平方和：
我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为：
我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。
Python 代码：
def computeCost(X, y, theta):
inner = np.power(((X * theta.T) - y), 2)
return np.sum(inner) / (2 * len(X))
4.3 特征缩放
在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。
以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。如图：
可以看到相似的特征尺度可以让梯度下降算法前往下一条等高线，效率更高。最简单的缩放是 x n = x n − μ n s n x_n=\frac{x_n-\mu _n}{s_n} xn=snxn−μn其中 μ n \mu_n μn是平均值， s n s_n sn是标准差
4.4 学习率
梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，但通常看上面这样的图表更好。
梯度下降算法的每次迭代受到学习率的影响，如果学习率 a a a过小，则达到收敛所需的迭代次数会非常高；如果学习率 a a a过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。
通常可以考虑尝试这些学习率：
α = 0.01 ， 0.03 ， 0.1 ， 0.3 ， 1 ， 3 ， 10 \alpha=0.01，0.03，0.1，0.3，1，3，10 α=0.01，0.03，0.1，0.3，1，3，10
4.5 特征和多项式回归
在特征的选择上，回到房价预测的例子，我们一开始用的特征是size，那么现在我们用两个特征，一个是房屋的长，一个是房屋的宽.那么我们的假设函数h就变成了 :
h θ ( x ) = θ 0 + θ 1 × f r o n t a g e + θ 2 × d e p t h h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}\times{frontage}+{\theta_{2}}\times{depth} hθ(x)=θ0+θ1×frontage+θ2×depth,
x 1 = f r o n t a g e {x_{1}}=frontage x1=frontage（临街宽度），
x 2 = d e p t h {x_{2}}=depth x2=depth（纵向深度），
x = f r o n t a g e ∗ d e p t h = a r e a x=frontage*depth=area x=frontage∗depth=area（面积），
则： h θ ( x ) = θ 0 + θ 1 x {h_{\theta}}\left( x \right)={\theta_{0}}+{\theta_{1}}x hθ(x)=θ0+θ1x。
线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型： h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 2 h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2} hθ(x)=θ0+θ1x1+θ2x22
或者三次方模型： h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 2 + θ 3 x 3 3 h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}+{\theta_{3}}{x_{3}^3} hθ(x)=θ0+θ1x1+θ2x22+θ3x33
通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：
x 2 = x 2 2 , x 3 = x 3 3 {{x_2}}=x{2}^{2},{{x}{3}}=x{3}^{3} x2=x22,x3=x33，从而将模型转化为线性回归模型。
根据函数图形特性，我们还可以使：
h θ ( x ) = θ 0 + θ 1 ( s i z e ) + θ 2 ( s i z e ) 2 {{{h}}{\theta}}(x)={{\theta }{0}}\text{+}{{\theta }{1}}(size)+{{\theta}{2}}{{(size)}^{2}} hθ(x)=θ0+θ1(size)+θ2(size)2
或者:
h θ ( x ) = θ 0 + θ 1 ( s i z e ) + θ 2 s i z e {{{h}}{\theta}}(x)={{\theta }{0}}\text{+}{{\theta }{1}}(size)+{{\theta }{2}}\sqrt{size} hθ(x)=θ0+θ1(size)+θ2size
注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。
4.6 正规方程（区别于迭代方法的直接解法）
对于某些线性回归问题，正规方程方法是更好的解决方案。
一步就可以求出最优值而不需要像梯度下降算法那样多次迭代，举个栗子，比如只有一个特征，那么他的代价函数J可以表示为 J ( θ ) = a θ 2 + b θ + c J(\theta)=a\theta^2+b\theta+c J(θ)=aθ2+bθ+c，其中 θ \theta θ是一个数而不是之前多特征时候的向量了。而这个函数很明显我们只需要设它对 θ \theta θ求导的值等于0，求出满足条件的 θ \theta θ就好。
若 θ \theta θ 是个n+1维的参数向量，换句话说就是数据集有多个特征时要怎么做？
θ = ( X T X ) − 1 X T y \theta ={{\left( {X^T}X \right)}^{-1}}{X^{T}}y θ=(XTX)−1XTy
其中X是数据集的特征的一个m*（n+1）的矩阵，y是m维向量，在这里是价格（数据的标签）
注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。
所以在线性回归算法中，特征数量少于一万用正规方程，大于一万开始考虑梯度下降算法。然而后面学的一些更复杂的算法，正规方程法是派不上用场滴，而梯度下降就还是效率蛮高的，所以要重视这个算法。下面展示一下python简单实现正规方程的计算：
import numpy as np
def normalEqn(X, y):
theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X等价于X.T.dot(X)
return theta
4.6 正规方程的不可逆性
通过线代可以知道行列式为零的矩阵是不可逆的，所以公式 θ = ( X T X ) − 1 X T y \theta ={{\left( {X^{T}}X \right)}^{-1}}{X^{T}}y θ=(XTX)−1XTy中的 X T X X^{T}X XTX有没有可能不可逆呢？当然是有的，视频说了两种情况，第一，若是有多余的特征，用线代的话说就是一组特征向量可以被另一组线性表示，那他们就是线性相关的，导致了矩阵行列式为0即矩阵不可逆。所以要确保特征向量之间都是线性无关的。第二种情况是数据太少特征太多，这时候也会导致这个问题。
但是这种情况很少出现，或者代码是可以计算不可逆矩阵的（调用伪逆函数）