线性回归 多变量预测

多变量预测

多元线性回归

对于多个特征量(Features)，规定符号表示：

$n$ 特征的总数量
$x^{(i)}$ 第i个训练样本的输入特征向量，$i$表示的是一个索引(Index)
$x_j^i$ 第i个训练样本中特征向量的第j个值

此时的假设函数不再是单纯的$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$
对于多个特征量，此时的假设函数为：
$h_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_1{x}^{(1)}+{\theta }_2{x}^{(2)}+\dots +{\theta }_n{x}^{(n)}$
对这个样本进行简化：
定义$x_0^i=1$, 定义参数向量： x = [ x 0 x 1 . . . x n ] n x=\begin{bmatrix} x_0\\x_1\\...\\x_n\end{bmatrix}n x= ​x0​x1​...xn​​ ​n，系数向量： θ = [ θ 0 θ 1 … θ n ] θ=\begin{bmatrix}θ_0\\θ_1\\…\\θ_n\end{bmatrix} θ= ​θ0​θ1​…θn​​ ​
有：
$$h_{\theta }(x)={\theta }^{T}x$$
这就是假设函数的向量形式。

梯度下降算法在多元线性回归中的应用

对于假设函数：
$h_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_1{x}^{(1)}+{\theta }_2{x}^{(2)}+\dots +{\theta }_n{x}^{(n)}$
和损失函数：
$J({\theta }_0,{\theta }_1,\dots ,{\theta }_n)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
此时的梯度下降算法：
Repeat{
$${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$$
}
对$\frac{\partial J(\theta )}{\partial {\theta }_j}$进行等价变形：
Repeat{
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^i$$
}