也称为多元线性回归,一元就是一个变量,多元就是多个变量,在这里也可以叫做多个特征
之前,我们讨论过单变量/特征的回归模型,但是单变量并不足以精确地预测房价,因此,我们需要对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型。
现在需要引入新的注释来建立和解释新的模型↓
符号 | 意义 |
---|---|
i | 特征矩阵中的第 i 行 |
j | 特征矩阵中第 i 行的第 j 个特征 |
m | 训练样本的数量 |
n | 特征的数量 |
在我们引入了新的特征之后,原来的那一条公式失去了作用,取而代之的是一条新的公式
多变量线性回归方程:
h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ n x n h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n hθ(x)=θ0+θ1x1+θ2x2+...+θnxn
J ( θ 0 , θ 1 . . . θ n ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\theta_0,\theta_1...\theta_n)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2 J(θ0,θ1...θn)=2m1i=1∑m(hθ(x(i))−y(i))2
原公式:
θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) \theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1) θj:=θj−α∂θj∂J(θ0,θ1)
经过修改,得到现在的公式:
θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 . . . θ n ) \theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1...\theta_n) θj:=θj−α∂θj∂J(θ0,θ1...θn)
代入多变量回归公式,得:
θ j : = θ j − α ∂ ∂ θ j 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 \theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2 θj:=θj−α∂θj∂2m1i=1∑m(hθ(x(i))−y(i))2
求导后得到批量梯度下降算法:
θ j : = θ j − α 1 m ∑ i = 1 m ( ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \theta_j:=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^{m}((h_\theta(x^{(i)})-y^{(i)})x_j^{(i)} θj:=θj−αm1i=1∑m((hθ(x(i))−y(i))xj(i)
在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。
在以下图像中,我们就可以发现,图片非常地椭圆,这种椭圆使得我们在梯度下降的时候需要非常多次的迭代才能收敛。
因此我们需要特征缩放去解决这个问题,它将所有的特征尺度都尽量缩放到-1到1之间,太大或者太小都不好,如下图
x i = x i − μ i s i x_i = \frac{x_i-\mu_i}{s_i} xi=sixi−μi
符号 | 含义 | 计算方法 | python(matlab)函数 | 参数解释 |
---|---|---|---|---|
x_i | 特征 | |||
μ_i | 平均值 | 同一个x_n相加求再除以同一个x_n的数量 | python:mean(x,axis=0) matlab:mean(x) | x:数据集,axit:轴,为0计算每一列,为1计算每一行 |
s_i | 标准差 | ,也可以简单的使用最大值减去最小值 | std(x) | 方法同上 |
代价函数会随着迭代次数的下降而收敛,不同的迭代算法需要不同的迭代次数,有的可能需要30次,而有的可能则需要300万次
我们要判断代价函数是否收敛有两个方法
当下降幅度少于一个θ值的时候(θ值自己取),则可以看作代价函数收敛
但是一般而言,θ值是比较难确定的,最好还是自己通过图像去判断是否达到了收敛的程度
通常,随着迭代次数的增加,代价函数应该是逐步下降的,但是当你看到代价函数的值增加的时候,很可能学习率过大所导致的,学习率过大使得函数错过了最低点
学习率过大会有问题,那么过小了,也会造成问题,如下图的蓝色画笔所画,当学习率过小,学习速度就会很慢,需要更多的迭代次数才能迭代到最低点
在选取学习率的时候,我们通常都需要设置多个学习率进行测试,学习率之间的倍数通常是3倍和10倍,通过测试,我们就可以找到最好的那一个学习率
首先我们来举一个例子:房价预测
符号 | 含义 |
---|---|
x1 | frontage(临街宽度) |
x2 | depth(纵向宽度) |
x | area(面积) |
由此,我们可以建立一个初步的模型
$
h_\theta(x)=\theta_0+\theta_1x
$
但是这个线性回归并不能很好的拟合我们的数据,因此我们需要一些改变(曲线)更好地拟合数据,比如一个二次方模型
$
h_\theta(x)=\theta_0+\theta_1x+\theta_2x^2
$
如下图
但是我们发现,二次方模型依然不能很好地拟合数据,因为它会随着Size的增加而下降,房价可不会因为房子面积的增加而下降,因此,我们需要一个三次方模型:
h θ ( x ) = θ 0 + θ 1 x + θ 2 x 2 + θ 3 x 3 h_\theta(x)=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3 hθ(x)=θ0+θ1x+θ2x2+θ3x3
这样子,就可以比较好地拟合我们的数据
接下来,我们通过以下方法,将多项式回归转变为多元线性回归方程
h θ ( x ) = θ 0 + θ 1 ( s i z e ) + θ 2 ( s i z e ) 2 + θ 3 ( s i z e ) 3 h_\theta(x)=\theta_0+\theta_1(size )+\theta_2(size)^2+\theta_3(size)^3 hθ(x)=θ0+θ1(size)+θ2(size)2+θ3(size)3
x 1 = ( s i z e ) x_1=(size) x1=(size)
x 2 = ( s i z e ) 2 x_2=(size)^2 x2=(size)2
x 3 = ( s i z e ) 3 x_3=(size)^3 x3=(size)3
= θ 0 + θ 1 x 1 + θ 2 x 2 + θ 3 x 3 =\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3 =θ0+θ1x1+θ2x2+θ3x3
这样子,就可以得到我们的多元线性回归方程
h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + θ 3 x 3 h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3 hθ(x)=θ0+θ1x1+θ2x2+θ3x3
由此我们就可以得到3个特征,在读者看来,这可能是更好地标记特征,size和size的平方不是同一样东西
接下来还没完,我们发现特征与特征之间相差非常大
这就可能出现之前说过的迭代问题,因此,我们需要对特征进行缩放,从而使得方程能得到更好更快地迭代
当然,条条大路通罗马,除了三次方模型外,我们还可以采用其他模型使得曲线更加拟合数据,比如平方根模型(紫色线)
h θ ( x ) = θ 0 + θ 1 ( s i z e ) + θ 2 ( s i z e ) h_\theta(x)=\theta_0+\theta_1(size )+\theta_2\sqrt{(size)} hθ(x)=θ0+θ1(size)+θ2(size)
因此,我们需要深入了解数据和数据的本质,从而才能找到更好的模型去拟合数据
到目前为止,我们都在使用梯度下降算法求解最小值
但在某些问题上,用正规方程可以更快求解出最优值,通过正规方程可以一次性求到这一个值,那么什么是正规方程呢?
就拿上图的J(θ)函数来说,要求最优解,根据我们学过的微积分知识,对它进行一个直接求导就可以
∂ ∂ θ j J ( θ ) = 0 \frac{\partial}{\partial\theta_j}J(\theta)=0 ∂θj∂J(θ)=0
回到之前说的平方代价函数,对于这么一个函数,我们需要对它每一个变量都进行求偏导,得出每一个θ的值
因此,我们选择使用线性代数的方法进行批量求导,使用以下正规方程就能解出向量θ
θ = ( X T X ) − 1 X T y \theta=(X^TX)^{-1}X^Ty θ=(XTX)−1XTy
完整推导过程:
http://blog.xiangjiang.live/derivations-of-the-normal-equation/
https://zhuanlan.zhihu.com/p/22757336
先来理解一下这个方程
首先,假设样本数为m,每个样本的期望值与实际值y相等
转化成向量表达的形式
Y = X ∗ θ Y=X*\theta Y=X∗θ
注:*符号是矩阵叉乘的意思
由于X不一定是方阵,所以X乘上X的逆不一定等于E(单位矩阵,就是对角线是1,其他为0的矩阵,单位矩阵肯定是一个方阵),因此X需要先乘上X的转置,使它变成一个方阵,由于一个方阵的逆乘一个方阵等于I(单位矩阵),所以就消去了,最后得到结果:
下面用数据来举一个例子
得到以下两个矩阵
运用正规方程方法求解,得
梯度下降与正规方程的比较:
梯度下降 | 正规方程 |
---|---|
需要选择学习率 α | 不需要 |
需要多次迭代 | 不需要迭代 |
当特征数量 n 大时也能较好适用 | 如果特征数量 n 较大则运算代价大,因为矩阵逆的计算时间复杂度为 O(n3),通常 来说当 n 小于 10000 时还是可以接受的 |
适用于各种类型的模型 | 只适用于线性模型,不适合逻辑回归模型等其他模型 |
总结一下,只要特征变量的数目并不大,正规方程是一个很好的计算参数 θ 的替代方法。具体地说,只要特征变量数量小于一万,我们通常使用标准方程法,而不使用梯度下降法。随着我们要讲的学习算法越来越复杂,例如,当我们讲到分类算法,像逻辑回归算法,我们会看到,实际上对于那些算法,并不能使用正规方程方法。
统计学和机器学习中,设计矩阵是一组观测结果中的所有解释变量的值构成的矩阵,常用X表示。设计矩阵常用于一些统计模型,如一般线性模型,方差分析中。
原因有两个:
解决方案:
如果矩阵 X T X X^TX XTX 是不可逆的,(通常来说,不会出现这种情况),如果在 Octave 里,可以用伪逆函数pinv()来实现。这种使用不同的线性代数库的方法被称为伪逆。即使X’X的结果是不可逆的,但算法执行的流程是正确的。总之,出现不可逆矩阵的情况极少发生,所以 在大多数实现线性回归中,出现不可逆的问题不应该过的关注 X T X X^TX XTX 是不可逆的。