[线性回归] 多特征线性回归

1 多特征线性回归

有多个变量的线性回归也叫做多变量线形回归(multivariate linear regression)。
下面介绍一下标志。

预测函数的多变量形式如下：

hθ(x)=θ₀+θ₁x₁+θ₂x₂+θ₃x₃+⋯+θ_nx_n

基于矩阵乘法的定义，预测函数可以写成如下形式：

这是预测函数对于一个训练集的向量化。

注意⚠️: 为了方便起见，我们假定 x⁽ⁱ⁾₀=1 for (i∈1,…,m)。为了使它们的维度相同以进行矩阵操作。

上标代表着训练集的标号，下边代表着特征序列。

所以，可以下列式子计算预测函数。
hθ(X)=Xθ^T

2 多特征梯度下降

梯度下降的本质是没有改变过的。
相比于单变量梯度下降公式，每次θ的迭代都要对所有θ参数进行计算。
之前n=1, 计算θ₀，θ₁。现在n>1,就对θ₀，θ₁, ... ,θ_n进行计算。(x₀ = 1 上标表示第i个训练集，下标表示参数序号)。

简洁一点就是这样子：

下图比较了单特征和多特征的梯度下降算法的异同。

屏幕快照 2017-01-01 上午9.53.29.png