[线性回归] 多特征线性回归

1 多特征线性回归

有多个变量的线性回归也叫做多变量线形回归(multivariate linear regression)。
下面介绍一下标志。

[线性回归] 多特征线性回归_第1张图片

预测函数的多变量形式如下:

hθ(x)=θ01x12x23x3+⋯+θnxn

基于矩阵乘法的定义,预测函数可以写成如下形式:


[线性回归] 多特征线性回归_第2张图片

这是预测函数对于一个训练集的向量化。

注意⚠️: 为了方便起见,我们假定 x(i)0=1 for (i∈1,…,m)。为了使它们的维度相同以进行矩阵操作。

上标代表着训练集的标号,下边代表着特征序列。


[线性回归] 多特征线性回归_第3张图片

所以,可以下列式子计算预测函数。
hθ(X)=XθT

2 多特征梯度下降

梯度下降的本质是没有改变过的。
相比于单变量梯度下降公式,每次θ的迭代都要对所有θ参数进行计算。
之前n=1, 计算θ0,θ1。现在n>1,就对θ0,θ1, ... ,θn进行计算。(x0 = 1 上标表示第i个训练集,下标表示参数序号)。

[线性回归] 多特征线性回归_第4张图片

简洁一点就是这样子:
[线性回归] 多特征线性回归_第5张图片

下图比较了单特征和多特征的梯度下降算法的异同。

[线性回归] 多特征线性回归_第6张图片
屏幕快照 2017-01-01 上午9.53.29.png

你可能感兴趣的:([线性回归] 多特征线性回归)