【台大林轩田《机器学习基石》笔记】Lecture 10——Logistic Regression

Lecture 10:Logistic Regression

Logistic Regression Problem

如果我们想从患者的各种身体信息来推断其有多大概率会得心脏病，这时候我们更关心目标函数的值，这是一个分布在$[0,1]$的数，表示的是得心脏病的概率。

这与我们之前所讨论的分类问题不太一样，把它叫做“软性“二分类问题（‘soft’ binary classification）

对于这个问题，理想的训练数据的标签应该是$[0,1]$之间的具体值，但是实际数据可能样本标签就是0/1（比如医院里只有病人是否得心脏病，而没有概率），我们可以把这样的实际数据看作是在理想数据上面添加噪声的结果。

假设函数：

我们还是对特征进行加权求和，但不同于hard binary classification的是对结果不再使用sign函数，而是使用logistic function$\theta (s)$来将输出限定在$[0,1]$

所以，我们的假设函数为：
$$h(x)=\theta (w^{T}x)$$
$\theta (s)$的具体形式（sigmoid function）：

Logistic Regression Error

三种线性模型的对比：

logistic regression误差定义：

先考虑数据集：$\mathcal{D}=(x_1,1),(x_2,-1),\dots ,(x_N,-1)$

那么$f$产生这个数据集的概率$probability(f)$显然是：
$$\begin{array}{rl}probability(f)& =P(x_1)P(y_1|x_1)\times P(x_2)P(y_2|x_2)\times ...\times P(x_N)P(y_N|x_N)\\ & \\ & =P(x_1)f(x_1)\times P(x_2)(1-f(x_2))\times ...\times P(x_N)(1-f(x_N))\end{array}$$

如果我们在假设集合中找到$h$，那么$h$生成数据集的概率为：
$$\begin{array}{rl}lieklihood(h)=& P(x_1)P(y_1|x_1)\times P(x_2)P(y_2|x_2)\times ...\times P(x_N)P(y_N|x_N)\\ & \\ =& P(x_1)h(x_1)\times P(x_2)(1-h(x_2))\times ...\times P(x_N)(1-h(x_N))\end{array}$$
这个叫做似然

对于logistic function$h(x)=\theta (w^{T}x)$来说，$h(-x)=1-h(x)$,所以：
$$\begin{array}{rl}lieklihood(h)=& P(x_1)P(y_1|x_1)\times P(x_2)P(y_2|x_2)\times ...\times P(x_N)P(y_N|x_N)\\ & \\ =& P(x_1)h(x_1)\times P(x_2)(1-h(x_2))\times ...\times P(x_N)(1-h(x_N))\\ & \\ =& P(x_1)h(x_1)\times P(x_2)h(-x_2)\times ...\times P(x_N)h(-x_N)\\ & \\ =& P(x_1)h(y_1{x}_1)\times P(x_2)h(y_2{x}_2)\times ...\times P(x_N)h(y_N{x}_N)\\ & \\ =& \prod _{n=1}^{N}h(y_n{x}_n)\end{array}$$
如果$h\approx f$，那么$likelihood(h)\approx probability(f)$

因为$f$是我们的理想函数，所以$f$真的能够产生这个数据集的概率一般是非常大的，所以我们为了找到与$f$最相似的假设，那么我们的目标就是找到似然函数最大的假设$g$：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ g = \mathop{\a…
将$likelihood(h)$转换为$w$为参数的形式，同时使用ln操作将连乘转化为累加，然后将最大化问题转化为最小化问题，具体过程如下：
$$\begin{array}{r}\underset{h}{\max }likelihood(h)\propto \prod _{n=1}^{N}h(y_n{x}_n)\Rightarrow likelihood(w)\propto \prod _{n=1}^N\theta (y_n{w}^T{x}_n)\\ \end{array}$$

$$\begin{array}{rl}\underset{w}{\max }likelihood(w)& \Rightarrow \underset{w}{\max }\ln likelihood(w)\\ & \\ & \Rightarrow \underset{w}{\max }\sum _{n=1}^N\ln \theta (y_n{w}^T{x}_n)\\ & \\ & \Rightarrow \underset{w}{\min }\frac{1}{N}\sum _{n=1}^N-\ln \theta (y_n{w}^T{x}_n)\\ & \\ & \Rightarrow \underset{w}{\min }\frac{1}{N}\sum _{n=1}^N-\ln (\frac{1}{1+exp(-y_n{w}^T{x}_n)})\\ & \\ & \Rightarrow \underset{w}{\min }\frac{1}{N}\sum _{n=1}^N\ln (1+exp(-y_n{w}^T{x}_n))\\ & \\ & \Rightarrow \underset{w}{\min }\frac{1}{N}\sum _{n=1}^{N}err(w,x_n,y_n)\\ & \\ & \Rightarrow \underset{w}{\min }{E}_{in}(w)\\ & \end{array}$$

所以我们就得到了Logistic Regression的Error Function:
$$err(w,x,y)=\ln (1+exp(-ywx))$$
称为cross-entropy error（交叉熵误差）

Gradient of Logistic Regression Error

接下来的问题就是如何找到合适的$w$使得$E_{in}$最小。

$E_{in}$仍然是连续的（continuous）， 可微的（differentiable），二次可微的（twice-differentiable），凸的（convex）函数。那么只要梯计算度为零时的$w$，就可以获得最优的hypothesis。

计算梯度（$w$的每个元素）：
$$\begin{gathered} E_{in}(w)=\frac{1}{N}\sum _{n=1}^N\ln (1+exp(-y_n{w}^T{x}_n)) \\ A=-y_n{w}^T{x}_n \\ B=1+exp(A) \end{gathered}$$

$$\begin{array}{rl}\frac{\partial E_{in}(w)}{\partial w_i}& =\frac{1}{N}\sum _{n=1}^N(\frac{\partial \ln B}{\partial B})(\frac{\partial B}{\partial A})(\frac{\partial A}{\partial w_i})\\ & \\ & =\frac{1}{N}\sum _{n=1}^N(\frac{1}{B})(exp(A))(-y_n{x}_{n,i})\\ & \\ & =\frac{1}{N}\sum _{n=1}^N(\frac{exp(A)}{1+exp(A)})(-y_n{x}_{n,i})\\ & \\ & =\frac{1}{N}\sum _{n=1}^N\theta (A)(-y_n{x}_{n,i})\\ & \end{array}$$

进一步求得(用向量表达)：
$$\nabla E_{in}(w)=\frac{1}{N}\sum _{n=1}^N\theta (-y_n{w}^T{x}_n)(-y_n{x}_n)$$
这个式子可以看成是$\theta$对$(-y_n{x}_n)$的线性加权，要使线性加权和为0：

• 所有权重都为0，根据$\theta (s)$的定义，这时的$y_n{w}^T{x}_n\gg 0$,也就是说对于所有样本点，$y_n$与$w^T{x}_n$是同号的，这意味着数据集全部是线性可分的
• 非线性可分，只能通过加权和为0求解

每个数据集都是线性可分的不太现实，所以只能是在第二种情况下求解，这种情况没有closed-form解，与Linear Regression不同，只能用迭代方法求解。

之前介绍的PLA算法是一步一步修正迭代进行的，每次对错误点进行修正，不断更新w值。PLA的迭代优化过程表示如下：

$w$的更新包括两部分内容，$\eta$代表了步长，$v$代表了方向向量

Gradient Descent

假设$v$是一个正规化后的单位向量，$\eta$是一个正数

把$E_{in}(w)$看作是一个山谷，最小化$E_{in}$的过程就是下山的过程，这个过程受两个因素影响：

$\eta$和$v$

假设每次下山我们只前进一小步($\eta$很小,线性近似)，那么根据泰勒展开，得到：
$$E_{in}(w_t+\eta v)\approx E_{in}(w_t)+\eta v^T{E}_{in}(w_t)$$
所以我们的问题变成了：

我们只需要确定$v$，也就是”向山谷下降“的方向，第一部分的$E_{in}$看成是个常数，$\eta$先不考虑，所以：

如果$v$与$\nabla $方向相反的话，其乘积最小，所以$v$是个与$\nabla$方向相反的单位向量：
$$v=-\frac{\nabla E_{in}(w_t)}{||\nabla E_{in}(w_t)||}$$
那么迭代更新的公式可以写成：
$$w_{t+1}\leftarrow w_t-\eta \frac{\nabla E_{in}(w_t)}{||\nabla E_{in}(w_t)||}$$
这个方法叫做梯度下降，是一个非常简单且常用的方法

接下来看一下$\eta$的选择，如果太小下降的速度很慢，如果太大造成下降不稳定，甚至可能出现上升的情况。

一种方法是当梯度较大时选择较大的$\eta$，梯度较小时选择较小的$\eta$,也就是二者是正相关的关系

那不妨假设原来的$\eta$（红色）和梯度大小是有$\eta$（紫色）的比例关系，那么梯度下降可以用更简单的式子表示：

把之前讲过的整合起来，Logistic Regression算法的过程：

1. 初始化$w_0$
2. 计算梯度
3. 梯度下降更新$w$
4. 直到梯度为0或者达到限制的迭代次数停止，否则继续迭代
5. 最后的$w_{t+1}$作为结果