吃，吃个大西瓜-第三章

第三章 线性回归模型

1、原理

线性回归模型试图学得一个通过属性的线性组合来进行预测的函数，即：
$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
其向量形式为：
$$f(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}$$
通过学习得到 $\mathbf{w}$ 和 $b$,模型就确定了。

规定：当向量中的元素用分号“;”分隔时表示此向量为列向量，用逗号“,”分隔时表示为行向量。

1、数据集：$D=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_{\mathbf{m}},y_m)\}$

2、样本属性：${\mathbf{x}}_{\mathbf{i}}=(x_{i1};x_{i2};...;x_{id})$ ===>为(d*1)的列向量

3、参数（w）：$\mathbf{w}=(w_1;w_2;...;w_d)$===>为(d*1)的列向量

4、维度：$m$= 样本数量，$d$= 属性数量

5、总体样本：$\mathbf{x}=(x_1,x_2,...,x_m)$===>代入${\mathbf{x}}_{\mathbf{i}}$，得到(d*m)矩阵

6、表达式：${\mathbf{w}}^{\mathbf{T}}\mathbf{x}$===>为(1*d)*(d*m)得到(1*m)的行向量

预测：

对于某个样本，试图学得：$f(x_i)=w{x}_i+b$,使得$f(x_i)\approx y_i$

属性数值化

为了能进行数学运算，样本中的非数值类属性都需要进行数值化。对于存在“序”关系的属性，可通过
连续化将其转化为带有相对大小关系的连续值；对于不存在“序”关系的属性，可根据属性取值将其拆解为
多个属性，例如“西瓜书”中所说的“瓜类”属性，可将其拆解为“是否是西瓜”、“是否是南瓜”、“是否是黄
瓜”3 个属性，其中每个属性的取值为1 或0，1 表示“是”，0 表示“否”。具体地，假如现有3 个瓜类样本：
x1 = (甜度= 高; 瓜类= 西瓜), x2 = (甜度= 中; 瓜类= 南瓜), x3 = (甜度= 低; 瓜类= 黄瓜)，其中“甜
度”属性存在序关系，因此可将“高”、“中”、“低”转化为{1.0, 0.5, 0.0}，“瓜类”属性不存在序关系，则按照上
述方法进行拆解，3 个瓜类样本数值化后的结果为：x1 = (1.0; 1; 0; 0), x1 = (0.5; 0; 1; 0), x1 = (0.0; 0; 0; 1)。

2、计算

均方误差是回归任务中常用的性能度量，因此我们试图让均方误差最小化，即：
$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
$$=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
求解 $w$和 $b$使得 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$最小化的过程，称为线性回归模型的最小二乘“参数估计”（parameter estimation）

将 $E_{(w,b)}$分别对 $w$和 $b$求导，得到：
$$\frac{\partial E}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)$$
$$\frac{\partial E}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)$$

闭式解是指可以通过具体的表达式解出待解参数

令上面两式等于0，得到：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}=\frac{{\sum }_{i=1}^m(y_i-\overline{y})(x_i-\overline{x})}{{\sum }_{i=1}^m(x_i-\overline{x}{)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)=\overline{y}-w\overline{x}$$
其中：
$$\overline{x}=\frac{1}{m}\sum _{i=1}^m{x}_i,\overline{y}=\frac{1}{m}\sum _{i=1}^m{y}_i$$

为便于讨论，令$\hat{\mathbf{w}}=(\mathbf{w},b)=(w_1;w_2;...;w_d,b),{\hat{\mathbf{x}}}_{\mathbf{i}}=(x_{i1};x_{i2};...;x_{id},1)$,那么$(w^{\ast },b^{\ast })$可简化为:

$${\hat{w}}^{\ast }=argmi{n}_{\hat{w}}\sum _{i=1}^m\left(y_i-{\hat{w}}^T{\hat{x}}_i\right)=argmi{n}_{\hat{w}}\sum _{i=1}^m\left(y_i-{\hat{x}}_i^T\hat{w}\right)$$
$${\hat{w}}^{\ast }=argmi{n}_{\hat{w}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
将$E_{\hat{w}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$展开并求导得，
$$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
令求导为0，得
$$\hat{\mathbf{w}}=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$

引入正则化项（regularization），使矩阵为满秩矩阵

3、线性模型的变化

对数线性回归
$$lny={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

形式上还是线性回归，但实质上是在求取输入空间到输出空间的非线性函数映射

更一般的，考虑单调可微函数g(·)，令
$$y=g^{-1}({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)$$
这样得到的模型称为“广义线性模型”，其中g(·)称为“联系函数”。

4、对数几率回归

通过“广义线性模型”，将线性回归应用到分类任务中

1、逻辑回归 LogisticRegression
$$y=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}$$
上式可变化为：
$$ln\frac{y}{1-y}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

将 y 视为样本 x 作为正例的可能性，则1-y 是其反例的可能性，两者的比值$\frac{y}{1-y}$，称为“几率”，取对数后称为“对数几率”
后验概率估计$p(y=1|x)$, $p(y=0|x)$

上式重写为概率形式：
$$ln\frac{p(y=1|x)}{p(y=0|x)}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$
有：
$$p(y=1|x)=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}=\frac{e^{({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}{1+e^{({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}$$
$$p(y=0|x)=\frac{1}{1+e^{({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}$$
可通过“极大似然法”来估计$w$和$b$，
$$l(w,b)=\sum _{i=1}^{m}lnp(y_i|x_i;w,b)$$

未完待续…