【机器学习】笔记5：Logistic Regression 逻辑斯蒂回归

Reference

机器学习技法课–台湾大学 林轩田
机器学习–周志华
统计学习方法–李航
PRML
ESL
MLAPP
 

Preparation

You need to learn about those disgusting stuff below.

1. Regression and Classification

参考台湾大学林轩田老师机器学习基石:Learning Types和李航老师的统计学习指导。

	Regression	Classification
Our Mission	预测 输入变量和输出变量之间的数值型关系；	预测 输入变量的所属类别 $C_k,k=1,2,..,K$
输入空间	可以是连续型，也可以是离散的	可以是连续型，也可以是离散的
输出空间	整个实数空间	输出变量的取值有限,离散
举例	线性回归	逻辑斯蒂回归

 

2. Generative Models and Discriminant Models for Classification

参考PRML: Linear Models for Classification.

生成模型
$$p(C_k|x)=\frac{p(x|C_k)p(C_k)}{p(x)}$$

1. 根据数据得到先验的概率分布和变量的条件概率分布：

$$p(x|C_k)，p(C_k)\leftarrow Dataset$$

2. 根据所得到的条件概率分布和先验分布,计算变量的概率分布：

$$p(x)\leftarrow p(x|C_k),p(C_k)$$

3. 给新的数据 $x_{new}$, 计算其属于类别$k$的后验概率，
   即：
   $$\begin{gathered} p(C_k|x=x_{new})=\frac{p(x=x_{new},C_k)}{p(x)} \\ =\frac{p(x=x_{new}|C_k)p(C_k)}{p(x)} \\ =\frac{p(x=x_{new}|C_k)p(C_k)}{\sum p(x=x_{new}|C_k)p(C_k)} \end{gathered}$$

 

判别模型

1. 根据数据建立后验概率分布，直接建立标签类别和输入变量之间的映射关系：
   $$p(C_k|x)\leftarrow Dataset$$
2. 给新的数据 $x_{new}$, 直接给出其属于类别$k$的后验概率：
   $$p(C_k|x=x_{new})$$

比较

分类问题	生成模型	判别模型
方法	通过数据学习 得到联合概率分布$P(x,C_k)$	通过数据学习 得到条件分布$P(C_k
优点	1)可以还原出联合分布概率;；2)收敛速度更快，当数据量增加时，学习模型的速度更快，收敛于真实模型；3)含有隐变量时仍可用	1)学习的准确率更高；2)简化学习问题

注：生成模型，可以还原出联合概率的分布哦。

 

3. Naive Bayes

参考李航老师的统计学习指导一书。
朴素贝叶斯法通过训练数据学习联合分布$P(X,Y)$, 具体如下：

1. 学习先验分布
   $P(Y=C_k),k=1,2,..,K$

2. 学习条件分布概率
   $P(X=x_n|Y=C_k)=P(X^{(1)}=x_n^{(1)},X^{(2)}=x_n^{(2)},...,X^{(d)}=x_n^{(d)}|Y=C_k)$
   需要估计的参数个数为: $(K{\prod }_{i=1}^d{S}_i)-1$,指数量级。

3. plus 条件独立性假设
   $P(X=x_n|Y=C_k)=\prod P(X^i=x_n^i|Y=C_k)$
   需要估计的参数个数为: $K({\prod }_{i=1}^d{S}_i-1)$，依然指数量级。

4. 给新的数据$x_{new}$, 计算其属于类别$k$的后验概率：
   $$p(Y=C_k|x=x_{new})=\frac{p(x=x_{new}|C_k)p(Y=C_k)}{\sum p(x=x_{new}|C_k)p(Y=C_k)}$$

5. 将后验概率最大的类作为$x_{new}$的类别输出：
   $$y=f(x_{new})=argma{x}_{C_k}\frac{p(x=x_{new}|C_k)p(Y=C_k)}{\sum p(x=x_{new}|C_k)p(Y=C_k)}$$

附注：
拉普拉斯平滑：lambda=1.
在随机变量的各个特征的取值上面，赋予一个基本的正数 lambda，通常取1.
引入原因：训练集中某特征的属性取值可能不全面。
缺点：假设了属性取值和类别是均匀分布的，相当于额外引入了关于数据的先验。

假设训练集合里西瓜颜色的取值为：{绿色，白色}，
为了避免新的样本出现时，若有Prob(颜色=红色，瓜=好瓜)=0，出现联合概率乘积为0的情况：
可以记#(颜色=红色，瓜=好瓜)=1, 同时使得#(颜色=绿色，瓜=好瓜)增加1，#(颜色=绿色，瓜=好瓜)增加1.

 

4. Hyperplane

参考PRML和网络blogs，距离计算部分详见SVM Part1。
超平面指的是从n维空间到n-1维空间的一个映射子空间，表达式：
$$\begin{gathered} w^{T}x+b=0 \\ or:w^{T}x+w_0=0 \end{gathered}$$

在分类问题中，利用这样的超平面，可以将特征空间中的点划分开来，具体方式：
$$sign(w^{T}x+b)=\{\begin{array}{rcl}+1& & wx+b\ge 0\\ -1& & wx+b<0\end{array}$$
以三维空间为例，其超平面为二维平面。
记$x_A$为超平面上一点，
$x_{外}$为超平面外一点,
$(x_{外}-x_A)$与超平面的法向量$w$的夹角记为$\theta$,
$d$ 为超平面外一点到超平面的距离；

可得：
$|w^T•(x_{外}-x_A)|=||w||•||x_{外}-x_A||•cos\theta$
$||x_{外}-x_A||•cos\theta =d$
$w^T{x}_A+b=0$

则超平面外一点到超平面的距离：
$$d=\frac{|w^T•(x_{外}-x_A)|}{||w||}=\frac{|w^T•x_{外}+b|}{||w||}$$
 

5. Information Theory

参考PRML，MLAPP和统计学习指导

entropy

考虑一个离散的随机变量$x$，信息量可以描述为看到这个随机变量的具体取值时的“惊讶程度”。
直觉上，如果两个事件 $x,y$不相关，那么观察到这两个事件同时发生的时候获得的信息量程度应该等于观察到这两个事件各自发生时的信息量之和。用$h(•)$表示事件的信息量，$h(x,y)=h(x)+h(y)$. 两个事件不相关，相当于其相互独立，所以$p(x,y)=p(x)•p(y)$.
易得，$h(•)$采用的是取对数的形式: $$h(x)=-lo{g}_{2}p(x)$$
假设一个人想要将随机变量$x$的取值发送给其接收者，则这个过程的平均信息量可以通过$h(x)$的概率分布求得：
$$H(x)=\sum _{x}p(h(x))•h(x)=-\sum _{x}p(x)•lo{g}_{2}p(x)$$
称之为随机变量$x$的熵。

以服从伯努利分布的随机变量x为例,x取值为0/1.

	$x=1$	$x=0$
$prob(x)$	$p$	$1-p$
$prob(h(x))$	$p$	$1-p$

易得 $p=1\to p•lo{g}_{2}p=0$,如果某一件事情一定会发生，那么这个观测相当于没有产生信息。
记 $p=0,p•lo{g}_{2}p=0$，如果$x$的某取值几乎为不可能事件，结果发生了，虽然观测到这一情况会“很惊讶”，但我们也认为其信息量为0.
$Notethat:h(x)=lo{g}_2(prob(x))$
 

物理角度

考虑一个集合，包含 $N$个完全相同的物体，要将这些物体分配到若干个箱子中，使得第 $i$个箱子里面有 $n_i$个物体，不考虑各个箱子内物体的排列组合，则方案总数 $W$为：
$$W=\frac{N!}{\prod _i{n}_i!}$$
将其称之为multiplicity, 对其取对数之后进行适当的参数放缩后的结果定义为熵，单位为nat.
$$H=\frac{1}{N}\ln W=\frac{1}{N}\ln N!-\frac{1}{N}\sum _i\ln n_i!$$
$N\to \infty$，by $\ln N!\approx N\ln N-N$
$$H=-\underset{N\to \infty }{\lim }\sum \left(\frac{n_i}{N}\right)\ln \left(\frac{n_i}{N}\right)=-\sum _i{p}_i\ln p_i$$

Proof:
$$\begin{array}{rl}H=& \frac{1}{N}\ln N!-\frac{1}{N}\sum _i\ln n_i!\\ =& \frac{1}{N}(N\ln N-N)-\frac{1}{N}\sum _i(n_i\ln n_i-n_i)\\ =& \ln N-1-\frac{1}{N}\sum _i{n}_i\ln n_i+\frac{1}{N}\sum _i{n}_i\\ =& \frac{1}{N}\sum n_i\ln N-\frac{1}{N}\sum _i{n}_i\ln n_i\\ =& -\sum _i\left(\frac{n_i}{N}\right)\ln \left(\frac{n_i}{N}\right)\\ =& -\sum _i{p}_i\ln p_i\end{array}$$
entropy increased:

• 信息量⬆️
• distribution: spread⬆️
• impurity⬆️
   

cross entropy

$y$ 服从二项分布, $p(y=1)=2/5,p(y=0)=3/5$

$y_i$	0	0	1	0	1
$p(y_i=0)$	1	1	0	1	0
$p(y_i=1)$	0	0	1	0	1

$q_i=q(y_i=1|x_i)=sigmoid(w^T{x}_i+b)$
$when{y}_i=1,p_i=p(y_i=1);when{y}_i=0,p_i=p(y_i=0)$

$$\begin{array}{rl}\sum y_i\log (q_i)+(1-y_i)\log (1-q_i)=& \sum _{(y_i|y_i=1)}{y}_i\log (q_i)+\sum _{(y_i|y_i=0)}(1-y_i)\log (1-q_i)(y_i=0,前一项为0；y_i=1时，后一项为0)\\ =& \sum [p(y_i=1)\log (q_i)+(1-p(y_i=1))\log (1-q_i)]\\ =& \sum [p_i\log (q_i)+(1-p_i)\log (1-q_i)]\end{array}$$
 

Notations

• 训练数据集：{ $(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$}
• 输出空间：{ $C_1,C_2,...,C_K$}
• 输入空间上：$x_n=(x_n^{(1)},x_n^{(2)},...,x_n^{(d)})$
• 自变量：$d$ 个维度，每个维度上的取值为 $S_i$ 个
• 输入空间上：$x_n^{(i)}$, 第$n$个样本, 第 $i$个维度(特征)

 

Logistic Regression

1. What is Logistic Regression ?

参考PRML，统计学习指导和台湾大学李宏毅老师 Machine Learning课程。

先讨论二分类的情况。

Logistic Regression是一种分类模型，由条件概率分布$P(Y|X)$表示:
$$P(Y=1|x)=\frac{1}{1+e^{-(w^{T}x+w_0)}}$$

其中,
$$\begin{gathered} sigmoid(a)=\frac{1}{1+e^{-a}} \\ \ln \frac{P(Y=1|x)}{1-P(Y=1|x)}=w^{T}x+w_0 \end{gathered}$$
 

2. Why Logistic Regression ?

将线性判别函数记为输入向量 的线性函数：
$$f(x)=sign(w^{T}x+b)$$
$$sign(w^{T}x+b)=\{\begin{array}{rcl}+1& & w^{T}x+b\ge 0\\ -1& & w^{T}x+b<0\end{array}$$
记 $w^T=(w_0,w^T),x^T=(1,x^T)$，简化上式为
$$sign(w^{T}x)=\{\begin{array}{rcl}+1& & w^{T}x\ge 0\\ -1& & w^{T}x<0\end{array}$$
 

1. 判别模型 or 生成模型：
   判别模型 “?”: less parameters to be estimated, less assumption
   举例：
   在贝叶斯生成模型中，
   连续性输入时，假设类条件概率 $p(x|y\in C_k)$服从高斯分布；
   离散型输入时，作条件独立假设，将参数估计的指数量级$(\prod K\cdot S_j)-1$减少至 $\sum K\cdot (S_j-1)$ .
   ($K$表示输出空间熵$y$的标签种类数,$S_j$表示输入空间上,第$j$个特征的取值数目。此处符号表示参见李航老师的统计学习指导)

2. 输出概率形式 or 0/1 形式：
   输出概率 “?”：still available for multi-classification
   举例：
   以感知机为例，其可以处理二分类问题(X线性可分时)，$sign(w^T+b)\ge 0\to y=1;viceversa$

   当处理多分类问题时，
   若采用1 of K (OVR)的方法，用K-1个分类器将输入空间划分为不同的决策区域，可能会出现多个决策区域重叠的情况，从而产生无法分类的情况。
   即使若采用2 of K (OVO)的方法，用 $C_K^2$个分类器将输入空间划分为不同的决策区域，也会产生无法分类的情况。
   

3. 线性回归 or logistic 回归：
   logistic回归 “?”:可输出概率形式$\in [0,1]$;多分类时可采用softmax(OVO to OVR)

4. squared loss or cross-entropy (MLE)：
   cross-entropy (MLE) “?”: more robust for outliers; 梯度下降优化时,效率更高

 

2.1 why not linear regression for classification?

mission：new $x_i$ given,ouput $p(y_i=1|x_i)$
模型：linear regression
损失函数：squared loss
问题：

1. 最小平方法：not robust, 对于异常点较为敏感，如上图所示
2. 输出空间：模型输出不一定为概率形式，out of $[0,1]$
3. 假设不符：最小平方法对应高斯分布假设下的最大似然方法，但此处$y$并不属于高斯分布
    

2.2 why not squared error ?

mission：new $x_i$ given,ouput $p(y_i=1|x_i)$
模型：logistic regression
损失函数：squared loss

问题：

1. 采用梯度下降法求解时，效率低
   损失函数对$w_i$求偏导得: 2$(p(y_i=1|x_i)-y_i)\cdot p(y_i=1|x_i)\cdot (1-p(y_i=1|x_i))$
   具体表现为：
   $y_i=0$时，若predict probability $p(y_i=1|x_i)$接近于1，第三项接近于0，则梯度接近于0
   $y_i=0$时，若predict probability接近于0，梯度也接近于0
2. 最小平方法：同样的not robust, 对于异常点较为敏感

 

3. How Logistic Regression ?

 

4.Multi-classification

参考PRML & ESL.

假设我们有多(K>2)个类别
mission: 判断 $y_i|x_i$所属类别 ⬅️ 给出$p(y_i\in C_k|x_i),k=[1,2,...,K]$的所有概率值 ⬅️ 用(K-1)个二元logistic regression 分类器输出概率,再作归一化处理。

Details：
判断$y_i|x_i$所属类别⬅️ 给出$p(y_i\in C_k|x_i),k=[1,2,...,K]$的所有概率值。

计算 $p(y_i\in C_1|x_i)$
$$\begin{gathered} \log \frac{p(y_i\in C_1|x_i)}{p(y_i\in C_1|x_i)}=w_{1.1}^{T}x\to null?\to p(y_i\in C_1|x_i)=1-p(y_i\notin C_1|x_i) \\ \log \frac{p(y_i\in C_2|x_i)}{p(y_i\in C_1|x_i)}=w_{1.2}^{T}x\to p(y_i\in C_1|x_i)=\frac{\exp (-w_{1.2}^{T}x)}{1+\exp (-w_{1.2}^{T}x)}=\frac{1}{1+\exp (w_{1.2}^{T}x)} \\ \log \frac{p(y_i\in C_3|x_i)}{p(y_i\in C_1|x_i)}=w_{1.3}^{T}x\to p(y_i\in C_1|x_i)=\frac{\exp (-w_{1.3}^{T}x)}{1+\exp (-w_{1.3}^{T}x)}=... \\ ... \\ \log \frac{p(y_i\in C_K|x_i)}{p(y_i\in C_1|x_i)}=w_{1.K}^{T}x\to p(y_i\in C_1|x_i)=\frac{\exp (-w_{1.K}^{T}x)}{1+\exp (-w_{1.K}^{T}x)}=... \end{gathered}$$
左右两边(K-1项)分别求和：
$$\begin{gathered} \frac{p(y_i\in C_2|x_i)}{p(y_i\in C_1|x_i)}+...+\frac{p(y_i\in C_K|x_i)}{p(y_i\in C_1|x_i)}=\sum _{k=2}^K\exp (w_{1.k}^{T}x) \\ \frac{{\sum }_{k=1}^{K}p(y_i\in C_k|x_i)}{p(y_i\in C_1|x_i)}-\frac{p(y_i\in C_1|x_i)}{p(y_i\in C_1|x_i)}=\sum _{k=2}^K\exp (w_{1.k}^{T}x) \\ \frac{{\sum }_{k=1}^{K}p(y_i\in C_k|x_i)}{p(y_i\in C_1|x_i)}=\sum _{k=2}^K\exp (w_{1.k}^{T}x)+1 \\ \frac{p(y_i\in C_1|x_i)}{{\sum }_{k=1}^{K}p(y_i\in C_k|x_i)}=\frac{1}{1+{\sum }_{k=2}^K\exp (w_{1.k}^{T}x)} \end{gathered}$$
 

同样地，计算 $p(y_i\in C_2|x_i)$
$$\begin{gathered} \log \frac{p(y_i\in C_1|x_i)}{p(y_i\in C_2|x_i)}=w_{2.1}^{T}x\to p(y_i\in C_2|x_i)=\frac{\exp (-w_{2.1}^{T}x)}{1+\exp (-w_{2.1}^{T}x)} \\ \log \frac{p(y_i\in C_2|x_i)}{p(y_i\in C_2|x_i)}=w_{2.2}^{T}x\to null?\to p(y_i\in C_2|x_i)=1-p(y_i\notin C_2|x_i) \\ \log \frac{p(y_i\in C_3|x_i)}{p(y_i\in C_2|x_i)}=w_{2.3}^{T}x\to p(y_i\in C_2|x_i)=\frac{\exp (-w_{2.3}^{T}x)}{1+exp(-w_{2.3}^{T}x)} \\ ... \\ \log \frac{p(y_i\in C_K|x_i)}{p(y_i\in C_2|x_i)}=w_{2.K}^{T}x\to p(y_i\in C_2|x_i)=\frac{\exp (-w_{2.K}^{T}x)}{1+exp(-w_{2.K}^{T}x)} \end{gathered}$$
左右两边分别求和：
$...$
 

因为
$\log \frac{p(y_i\in C_1|x_i)}{p(y_i\in C_2|x_i)}$和$\log \frac{p(y_i\in C_2|x_i)}{p(y_i\in C_1|x_i)}$对称，所以只需要训练$\frac{K(K-1)}{2}-1$个logistic分类器即可。

5.to be continued…