西瓜书_chapter3_线性模型

3.1 基本形式

$$f(x)={\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_d{x}_d+b$$
其中，$x_i$是x在第i个属性上的取值，也可以写成
$$f(x)={\omega }^{T}x+b$$
公式中的$\omega$比较直观地反应了每个属性的重要性，因而线性模型具有很好的可解释性(comprehensibility)。

3.2 线性回归

3.2.1 一元情况

线性回归的目的是学得
$$f(x_i)=\omega x_i+b,使得f(x_i)=y_i$$
在回归任务中，我们通常使用均方误差来度量模型的性能
$$(w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
由于上式的右侧对于$\omega ,b$是凸函数，因此可以采用求偏导取0的方式求得最值点。

3.2.2 多元情况

更一般地，如果我们把属性值扩充为多个，上述的问题就变为了多元线性回归问题。为了方便讨论，我们把$\omega$和$b$合在一起写为$\hat{w}=(\omega ;b)$的形式，把数据集也用矩阵表示
$$X=\left[\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ...& ...\\ x_m^T& 1\end{array}\right]$$
将y也写为向量形式$(y_1;y_2;...;y_m)$，则有
$${\hat{\omega }}^{\ast }=\underset{\hat{\omega }}{\mathrm{argmax}}(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$$
对$\omega$求导再取0可以得到
$${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
即得到最终的模型。

3.2.3 对数线性回归

如果输出的样例是在指数尺度上变化，那么我们就可以把模型写为
$$lny={\omega }^{T}x+b$$
更一般的，可以考虑单调可微的函数$g(\cdot )$，则有广义线性模型
$$y=g^{-1}({\omega }^{T}x+b)$$

3.3 对数几率回归

设想我们在考虑一个二分类问题，线性回归的输出是一个实数，而我们想把它映射到{0, 1}上，这个函数需要单调可微。对数几率函数则满足这个条件
$$y=\frac{1}{1+e^{-z}}$$
代入线性回归的计算式
$$y=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$$
经过整理可以得到
$$ln(\frac{y}{1-y})={\omega }^{T}x+b$$
也即，此时的${\omega }^{T}x+b$拟合的是“对数几率”，它反映了对数域下正例概率对反例概率的比例。
对率回归模型最大化“对数似然"
$$loss={\sum }_{i=1}^m\ln p(y_i|x_i;\omega ,b)$$
如果展开来写的话，考虑到每个样本的真实标签，有
$$p(y_i|x_i;\omega ,b)=y_i{p}_1(x_i;\omega ,b)+(1-y_i)p_0(x_i;\omega ,b)$$
最终有
$$loss={\sum }_{i=1}^m(-y_i{\beta }^T{\hat{x}}_i+\ln (1+e^{{\omega }^{T}x+b}))$$
#感觉这个地方书上推的不太对，应该取个负号
而后这个东西对于参数$\omega ,b$都是凸的，因此可以用SGD等方式优化。

3.4 线性判别分析

给出一条直线，LDA希望同类别样本投影到这条直线上后距离尽可能近，而不同类样本尽可能远。令$X_i,{\mu }_i,{\Sigma }_i$分别表示第i类的样本集合、均值向量，协方差矩阵。
$$J=\frac{||{\omega }^T{\mu }_0-{\omega }^T{\mu }_1|{|}_2^2}{{\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega }$$
目标如上，我们希望最大化$J$。其分子表示类间距离的平凡想，分母是类内距离的平方和。
我们可以定义类内散度矩阵$S_{\omega }={\Sigma }_0+{\Sigma }_1$和类间散度矩阵$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$，则有
$$J=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }$$
注意到$\omega$乘上任意非0实数都不会改变上式的计算结果，因此，我们不妨令${\omega }^T{S}_{\omega }\omega =1$，从而我们只需对分子进行优化。于是，我们的问题就转化为了
$$\begin{gathered} \underset{\omega }{\min }-{\omega }^T{S}_b\omega \\ s.t.{\omega }^T{S}_{\omega }\omega =1 \end{gathered}$$
借助于拉格朗日乘子法，有
$$S_b\omega =\lambda S_{\omega }\omega$$
又考虑到$S_b\omega$的始终是${\mu }_0-{\mu }_1$，则
$$\lambda S_{\omega }\omega ={\mu }_0-{\mu }_1$$
得到
$$\omega =\lambda S_{\omega }^{-1}({\mu }_0-{\mu }_1)$$
在此基础上，我们可以考虑LDA的多分类任务
我们再分别定义多分类任务中的类内和类间散度矩阵
$$\begin{gathered} S_b=\sum _{i=1}^m{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T \\ {S}_w=\sum _{i=1}^m{S}_{{\omega }_i} \end{gathered}$$
其中
$$S_{{\omega }_i}=\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$$
于是，优化目标可以写为
$$\underset{W}{\max }\frac{tr(W^T{S}_{B}W)}{tr(W^T{S}_{\omega }W)}$$
对应的，有
$$S_{b}W=\lambda S_{\omega }W$$
也就是说，$W$的闭式解是$S_{\omega }^{-1}{S}_b$的特征向量所构成的矩阵。
如果把$W$看成是一个投影矩阵，那么多分类LDA就相当于把样本投影到了N-1维空间。

3.5 多分类技术

略

3.6 样本不均衡问题

过采样与欠采样。