岭回归、Lasso回归与logistic回归

Lasso模型的求解方法：坐标下降法

• 目标函数形式：$\underset{\beta }{\min }\frac{1}{2N}\sum _{i=1}^N(y_i-\beta z_i{)}^2+\lambda |\beta |(\lambda >0)$

• 当$\lambda >0$时目标函数是凸函数

• 单变量情况下：
  $$\hat{\beta }=\{\begin{array}{ll}\frac{1}{N}<z,y>-\lambda ,& \text{ifN1<z,y>>λ}\\ 0,& \text{ifN1∣<z,y>∣<λ}\\ \frac{1}{N}<z,y>+\lambda ,& \text{ifN1<z,y><−λ}\end{array}$$

• 用软阈值算子来表示$$\begin{gathered} \hat{\beta }=S_{\lambda }(\frac{1}{N}<z,y>) \\ 其中S_{\lambda }(x)=sign(x)(|x|-\lambda {)}_{+} \\ {t}_{+}=\{\begin{array}{ll}t,& \text{t>0}\\ 0,& \text{t≤0}\end{array} \end{gathered}$$

• 推导：$$\begin{array}{rl}& \underset{\beta }{\min }\frac{1}{2N}\sum _{i=1}^N(y_i-\beta z_i{)}^2+\lambda |\beta |(\lambda >0)\\ & =\frac{1}{2N}\sum _{i=1}^N{y}_i^2-\frac{1}{N}<y,z>\beta +\frac{{\beta }^2}{2N}\sum _{i=1}^N{z}_i^2+\lambda |\beta |\\ & =\frac{1}{2}-\frac{1}{N}<y,z>\beta +\frac{{\beta }^2}{2}+\lambda |\beta |\end{array}$$
  当$\beta >0$时
  $$\begin{gathered} \begin{array}{rl}& \frac{1}{2}-\frac{1}{N}<y,z>\beta +\frac{{\beta }^2}{2}+\lambda \beta \\ & =\beta (\frac{\beta }{2}-\frac{1}{N}<y,z>+\lambda )\end{array} \\ {\beta }_1=0,{\beta }_2=\frac{2}{N}<y,z>-2\lambda \end{gathered}$$
  　　当${\beta }_2>0$时，即$\frac{1}{N}<y,z>-\lambda >0,\hat{\beta }=\frac{1}{N}<y,z>-\lambda$
  　　当${\beta }_2<0$时，即$\frac{1}{N}<y,z>-\lambda <0,\hat{\beta }=0$
  当$\beta <0$时
  $$\begin{gathered} \begin{array}{rl}& \frac{1}{2}-\frac{1}{N}<y,z>\beta +\frac{{\beta }^2}{2}-\lambda \beta \\ & =\beta (\frac{\beta }{2}-\frac{1}{N}<y,z>-\lambda )\end{array} \\ {\beta }_1=0,{\beta }_2=\frac{2}{N}<y,z>+2\lambda \end{gathered}$$
  　　当${\beta }_2>0$时，即$\frac{1}{N}<y,z>＋\lambda >0,\hat{\beta }=0$
  　　当${\beta }_2<0$时，即$\frac{1}{N}<y,z>＋\lambda <0,\hat{\beta }=\frac{1}{N}<y,z>＋\lambda$
  
  岭回归只是对系数做了一个全局缩放，而lasso将绝对值小于$\lambda$的系数变成0，这也是lasso可以产生稀疏解的原因。
  多变量情况下：在控制其他系数不变的情况下，更新其中一个$\beta$,此时问题转换成单变量情况求解，循环迭代直至系数收敛。
  

Logistic回归

• 二分类逻辑回归
  求解方法：牛顿迭代法，梯度下降法
  
  
  
• 多分类逻辑回归

1. 一对一：将N个类别两两配对，从而产生N(N-1)/2个二分类任务，在测试阶段，将新样本同时提交给所有分类器，最终分类结果由投票产生。
2. OvR:每次将一个类的样例作为正例，其他所有类的样例作为反例来训练N个分类器，在测试阶段若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果，若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。
3. softmax回归：使用线性预测器和额外的归一化因子来对某个结果的概率进行归一化然后取对数建模。
   
   
4. 改进：以某个类作为基准类