面试（2）：LR逻辑回归与损失函数理解

1、LR的推导

  LR逻辑回归是一种监督学习分类算法，其实现了给定数据集到0,1的一种映射。

  给定数据集$\mathrm{D}=\{(x1,y1),(x2,y2)\dots (xm,ym)\}$其中$(xi,yi)$表示第$i$个样本，其中$xi=\left(x{i}_1,x{i}_2,..x{i}_{1n}\right)$。即每个数据有$n$个特征，类别$y=\{0,1\}$，要求训练数据，将数据分成两类0或1。

  假定$xi$的$n$个特征为线性关系，即：$$\mathrm{z}=\theta \mathrm{x}+\mathrm{b}={\theta }_1{x}_1+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n+\mathrm{b}$$这里为了表示简洁，在数据样本$xi$添加一个特征$x0=1$ ，将$b$作为${\theta }_0$。则有：$$\begin{array}{l}\mathrm{z}=\theta \mathrm{x}+\mathrm{b}\\ =b\ast 1+{\theta }_1{x}_1+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n\\ ={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n={\theta }^{T}X\end{array}$$以上实现了用样本$xi$的$n$个特征来表示样本的表达式，现在需要寻找一个映射使得$\mathrm{z}$可以转换为0或者1。

可以使用阶跃函数，但是阶跃函数性质不好，不可导求解过于复杂，这里选用Sigmoid函数:$$\mathrm{y}(\mathrm{z})=\frac{1}{1+e^{-z}}$$

当输入一个Z时，y输出一个0–1之间的数，假定y>0.5则最终结果判为1， y<0.5最终结果为0。当y=0.8时，最终结果为1，y=0.8也表征了此时输出为1的概率，令：$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}X}}$$将样本特征线性表示，然后输入到Sigmoid函数，输出结果在0–1之间，并且输出结果表征了分类结果为1的概率，即有：$$\begin{array}{l}\mathrm{P}(\mathrm{y}=1|\mathrm{x};\theta )=h_{\theta }(x)\\ \mathrm{P}(\mathrm{y}=0|\mathrm{x};\theta )=1-h_{\theta }(x)\end{array}$$即$h_{\theta }(x)$输出刚好代表了结果为1的概率，因此p(y|x)表达式：$$\mathrm{P}(\mathrm{y}|\mathrm{x};\theta )=h_{\theta }(x{)}^y\ast {\left(1-h_{\theta }(x)\right)}^{1-y}$$假设样本独立且同分布，最大似然估计：$$\mathrm{L}(\theta )=\prod _{i=1}^{i=m}\mathrm{P}(\mathrm{y}\mathrm{i}|\mathrm{x}\mathrm{i};\theta )=\prod _{i=1}^{i=m}{h}_{\theta }(xi{)}^{yi}\ast {\left(1-h_{\theta }(xi)\right)}^{1-yi}$$进而求最大对数似然估计：$$l(\theta )=\log L(\theta )=\sum _{i=1}^m(y_i\ast \log h_{\theta }(xi)+(1-yi)\ast \log (1-h_{\theta }(xi)))$$
1. 第一个问题，为什么要求最大对数似然估计而不是最大似然估计：

• 其中最重要的一点就是为什么取$-\log$函数为损失函数，损失函数的本质就是，如果我们预测对了，能够不惩罚，如果预测错误，会导致损失函数变得很大，也就是惩罚较大，而$-\log$函数在$[0,1]$之间正好符合这一点，另外还有一点需要说明，LR是一种广义的线性回归模型，平方损失函数对于 Sigmoid函数求导计算,无法保证是凸函数，在优化的过程中，求得的解有可能是局部最小，不是全局的最优值。
• 其二：取完对数之后，对我们的后续求导比较方便。
  如果根据似然函数，直接计算，有两点缺点：(1)不利于后续的求导,(2)似然函数的计算会导致下溢出。

2. 第二个问题，LR的损失函数是什么：$$\begin{array}{l}J(\theta )=-\frac{1}{m}l(\theta )=-\frac{1}{m}\ast {\sum }_{i=1}^m\left(yi\ast \log h_{\theta }(xi)+(1-yi)\ast \log \left(1-h_{\theta }(xi)\right)\right)\end{array}$$损失函数表征预测值与真实值之间的差异程度，如果预测值与真实值越接近则损失函数应该越小。在此损失函数可以取为最大似然估计函数的相反数，其次除以m这一因子并不改变最终求导极值结果，通过除以m可以得到平均损失值，避免样本数量对于损失值的影响。

这里采用随机梯度下降，损失函数对于${\theta }_j$偏导：

${\theta }_j$的迭代式：$${\theta }_j:={\theta }_j-\alpha \ast \frac{\partial J(\theta )}{\partial {\theta }_j}={\theta }_j-\alpha \sum _{i=1}^{i=m}\left[\left(h_{\theta }(xi)-yi\right)\ast x{i}_j\right]j=0,1,2\dots n$$

2、损失函数

  损失函数：表征模型预测值与真实值的不一致程度。记为函数$L(Y,f(X))$

  结构风险函数 = 经验风险项 + 正则项，其中损失函数为经验风险项的重要组成部分。$$\Omega (\theta )=\sum _{i=1}^{i=m}L(yi,f(xi;\theta ))+\lambda \psi (\theta )$$前半部分为经验风险项，后半部分为正则项。

2.1 对数损失函数：

$$\mathrm{L}(\mathrm{Y},\mathrm{P}(\mathrm{Y}|\mathrm{X}))=-\log P(Y|X)$$$P(Y|X)$为样本为$Y$的概率，数值越大说明预测值与真实值越接近即损失函数应该越小，当$P(Y|X)$越大的，$-\log P(Y|X)$越小，刚好符合损失函数的定义。
其中LR逻辑回归损失函数即为对数损失函数：
逻辑回归假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值最小化负的似然函数（即$maxF(y,f(x))—->min-[F(y,f(x))]$)
即LR的损失函数为：负的对数损失函数：$$\begin{array}{l}J(\theta )=-\frac{1}{m}l(\theta )=-\frac{1}{m}\ast {\sum }_{i=1}^{i=m}(yi\ast \log h_{\theta }(xi)+(1-yi)\ast \log \left(1-h_{\theta }(xi)\right)\end{array}$$

2.2 平方损失函数：

$$\mathrm{L}(\mathrm{Y},\mathrm{f}(\mathrm{X}))=(Y-f(X{)}^2$$线性回归模型使用了平方损失函数：$$E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$在线性回归中，它假设样本和噪声都服从高斯分布（中心极限定理），最后通过极大似然估计（MLE）可以推导出最小二乘式子。

2.3 指数损失函数：

$$\begin{array}{rl}\mathrm{L}(\mathrm{y},\mathrm{f}(\mathrm{x}))& =e^{-yf(x)}\\ \mathrm{L}(\mathrm{y},\mathrm{f}(\mathrm{x}))& =\frac{1}{n}\sum _{i=1}^{i=m}{e}^{-yif(xi)}\end{array}$$AdaBoost中损失函数为：$${\ell }_{\exp }(H|\mathcal{D})={\mathbb{E}}_{\mathbf{x}\sim \mathcal{D}}\left[e^{-f(\mathbf{x})H(\mathbf{x})}\right]$$

2.4 Hinge损失函数：

$$\mathrm{L}(\mathrm{y},\mathrm{f}(\mathrm{x}))=\max (0,w(y))$$$f(x)$如果与$y$一致，则损失函数为0，不一致则损失函数为$w(y)$
SVM中损失函数即为Hinge损失函数：$${\ell }_{\text{hinge}}(z)=\max (0,1-z)$$$$\underset{w,b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\max \left(0,1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$进而变形为：$$\begin{array}{r}\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0,i=1,2,\dots ,m\end{array}$$

2.5 0-1损失函数：

$$\mathrm{L}(\mathrm{Y},\mathrm{f}(\mathrm{X}))=\left\{\begin{array}{ll}1& Y!=f(X)\\ 0& Y=f(X)\end{array}\right\}$$

2.6 绝对值损失函数：

$$\mathrm{L}(\mathrm{Y},\mathrm{f}(\mathrm{X}))=|Y-f(X)|$$
各种损失函数：
转载自：https://blog.csdn.net/u014106644/article/details/83660226