使用回归分析预测连续型变量

线性回归模型

线性函数的定义如下：
$$h(\mathbf{x})=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b={\mathbf{w}}^T\mathbf{x}+b$$
给定数据集$D=\{({\mathbf{x}}_i,y_i){\}}_1^N$，其中${\mathbf{x}}_i,y_i$都是连续型变量。线性回归试图去学习到$h(\mathbf{x})$能准确地预测$y$。
回归任务最常用的性能度量就是均平方误差(MSE,mean squared error):
$$J(\mathbf{w},b)=\frac{1}{2}\sum _{i=1}^N(y_i-h({\mathbf{x}}_i){)}^2=\frac{1}{2}\sum _{i=1}^N(y_i-{\mathbf{w}}^T{\mathbf{x}}_i+b{)}^2$$
参数的优化：（入门人士只需掌握（1）即可，实用简单）
（1）可以使用梯度下降来优化误差，每一步的更新为：
$$\begin{gathered} w_j:=w_j-\eta \frac{\partial J(\mathbf{w},b)}{\partial w_j}=w_j-\eta \sum _{i=1}^N(y_i-h({\mathbf{x}}_i)){\mathbf{x}}_i^j,j=1,2,...d \\ b:=b-\eta \frac{\partial J(\mathbf{w},b)}{\partial b}=w_j-\eta \sum _{i=1}^N(y_i-h({\mathbf{x}}_i)),j=1,2,...d \end{gathered}$$
(2)最小二乘估计：
将$\mathbf{w}$和$b$合起来写为$\hat{\mathbf{w}}=(\mathbf{w};b),$把数据集表示为$N\times (d+1)$的矩阵，前$d$个元素对应属性值，最后一个数为$1$对应参数$b$。

标记也写为向量的形式：$\mathbf{y}=(y_1;y_2;...;y_N)$,则求最小化误差的参数$\hat{\mathbf{w}}$可表示为：
$${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\min }J(\hat{\mathbf{w}})=\underset{\hat{\mathbf{w}}}{\min }(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
$$\begin{gathered} \frac{\partial J(\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}=0 \\ \Rightarrow 2{\mathbf{X}}^T(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})=0 \end{gathered}$$
当${\mathbf{X}}^T\mathbf{X}$为满秩矩阵（判断矩阵是否可逆的充要条件）或正定矩阵时，上式可解为：
$$\hat{\mathbf{w}}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
此时的回归模型为：
$$h({\mathbf{x}}_i)={\mathbf{x}}_i^T({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
当${\mathbf{X}}^T\mathbf{X}$不是满秩矩阵时，相当于求线性方程组$({\mathbf{X}}^T\mathbf{X})\hat{\mathbf{w}}={\mathbf{X}}^T\mathbf{y}$,此时可能解出多个$\hat{\mathbf{w}}$，它们都能使得误差均方误差最小化（所得到的误差都是相同的）。选择哪个将由算法决定，通常引入正则化项来解决。
当加入正则项时，误差为：
$${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\min }J(\hat{\mathbf{w}})=\underset{\hat{\mathbf{w}}}{\min }[(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})+\frac{\lambda }{2}||\hat{\mathbf{w}}|{|}^2]$$
$$\hat{\mathbf{w}}=({\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
(3)最大似然估计
设${ϵ}^{(i)}$为样本$i$的误差，则有：
$$y^{(i)}={\mathbf{w}}^T{\mathbf{x}}^{(i)}+{ϵ}^{(i)},i=1,2,...,N$$
${ϵ}^{(i)}$与${ϵ}^{(j)},i̸=j$之间独立同分布，都满足正态分布${ϵ}^{(i)}\sim \mathcal{N}(0,{\sigma }^2),i=1,2,...,N$
$$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2})$$
因为${ϵ}^{(i)}=y^{(i)}-{\mathbf{w}}^T{\mathbf{x}}^{(i)}$，${ϵ}^{(i)}$的概率就是${\mathbf{x}}^{(i)}$能映射到$y^{(i)}$的概率。
$$p(y^{(i)}|{\mathbf{x}}^{(i)};\mathbf{w})=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\mathbf{w}}^T{\mathbf{x}}^{(i)}{)}^2}{2{\sigma }^2})$$
最大化似然函数：
$$L(\mathbf{w})=\prod _{i=1}^{N}p(y^{(i)}|{\mathbf{x}}^{(i)};\mathbf{w})$$
取对数似然：
$$\begin{gathered} \log L(\mathbf{w})=\sum _{i=1}^N\log (p(y^{(i)}|{\mathbf{x}}^{(i)};\mathbf{w}) \\ =\sum _{i=1}^N\log [\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\mathbf{w}}^T{\mathbf{x}}^{(i)}{)}^2}{2{\sigma }^2})] \\ =\sum _{i=1}^N[-\frac{1}{2}\log (2\pi )-\log \sigma -\frac{(y^{(i)}-{\mathbf{w}}^T{\mathbf{x}}^{(i)}{)}^2}{2{\sigma }^2}] \\ =-N\frac{1}{2}\log (2\pi )-N\log \sigma -\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y^{(i)}-{\mathbf{w}}^T{\mathbf{x}}^{(i)}{)}^2 \end{gathered}$$
最大化对数似然函数等价于最小化均方误差。