因为是傻瓜式教程,所以一定会非常详细!一些概念link到了Wiki的相应解释上。
欢迎捉虫~!
二分类和回归的关系
考虑 x⇒y 表示的二分类或回归问题,其中 x 是输入, y 是输出。
1. 在二分类中, y 的值取0或1,代表被分为正类或负类。在回归中, y 的取值为连续值。
2. 在线性回归模型中, y=wTx=w⋅x ,此处 w 为参数向量, x 为输入样本向量。
3. 进一步,广义线性回归模型可以写为 g(y)=w⋅x 或者 y=g−1(w⋅x) 的形式,其中 g 为单调可微函数。所以在对数回归中,模型是 ln(y)=w⋅x 。
sigmoid函数与LR的关系
sigmoid函数:在数学上是拥有性感的s形曲线样子的函数:

通常说的sigmoid函数指的是这个logistic函数: δ(z)=11+e−z=ez1+ez 。本文所指的sigmoid函数就是该logistic函数:

sigmoid函数具有以下特点:
- 值域在(0,1)
- 求导非常容易 δ′(z)=δ(1−δ(z)) (求导过程见附录,或Wiki)
我们希望在做二分类时,输出 y 不再是非0即1的取值,而是希望输出一个有概率意义的 (0,1) 之间的值,表示的是分为正类的概率(所以 1−y 是分为负类的概率),然后再做二分类,所以我们挑选sigmoid函数作为广义线性回归的 g−1 ,即
y=δ(w⋅x)=11+e−w⋅x(1)
接下来将符合
y=g−1(w⋅x) 形式的
(1) 写为
g(y)=w⋅x 的形式,则
y+ye−w⋅x=1
ye−w⋅x=1−y
e−w⋅x=1−yy
−w⋅x=ln(1−yy)
w⋅x=ln(y1−y)(2)
所以,现在
g(y)=ln(y1−y) 。
前面说到,输出值
y 代表分到正类的概率,
1−y 代表分到负类的概率,那么
y1−y=正类概率负类概率 ,称为
几率,
ln(y1−y) 称为
对数几率(logit)。
(2) 的本质是用
w⋅x 线性回归模型逼近对数几率,我们管这叫
对数几率回归( logit regression / logistics regression)。
条件概率
- y 代表分到正类的概率,即为条件概率: P(y=1|x) 。
1−y 代表分到负类的概率,即为条件概率: P(y≠1|x)=P(y=0|x)=1−P(y=1|x) 。
- 我们有 P(y=1|x)=y=11+e−w⋅x
- 假设数据集共有 N 个样本,记第i个样本输入(m维向量)和样本标签分别为 xi=[xi(1),xi(2),...,xi(m)]T,yi={0,1} 。条件概率其实和参数 w 有关,那么正确分类的条件概率应该写为: P(y=yi|x=xi;w) ,简记为 P(yi|xi;w) 。
(意思是输入变量 x 取 xi 时,输出 y =真实标签 yi 的概率)
-
正确分类概率P(yi|xi;w)=⎧⎩⎨P(y=1|xi;w),P(y=0|xi;w)=1−P(y=1|xi;w),if yi=1 if yi=0
-
ln[P(yi|xi;w)]=⎧⎩⎨ln[P(y=1|xi;w)],ln[[P(y=0|xi;w)]=ln[1−P(y=1|xi;w)],if yi=1 if yi=0
- 也等价于 lnP(y=yi|xi;w)={yi=1}lnP(y=1|xi;w)+{yi=0}ln(1−P(y=1|xi;w))
其中 {yi=1} 称为示性函数,当条件被满足就取1,否则取0。
在二分类型况下,怎么样的函数能满足这样的条件呢? yi 和 1−yi 就可以呀!
ln[P(yi|xi;w)]=(yi)ln[P(y=1|xi;w)]+(1−yi)ln[1-P(y=1|xi;w)](3)
从原始概率来看,即
P(yi|xi;w)=P(y=1|xi;w)yi×(1−P(y=1|xi;w))(1−yi)
最大似然求解
似然的解释见附录或Wiki
我们希望,求得参数 w ,使“抽取的样本 xi 属于本身的标签 yi 的概率最大 ”即 P(yi|xi;w) 尽量大。
换句话说,就是极大化对数似然 L(w) :
L(w)=ln∏iNP(yi|xi;w)=∑iNln[P(yi|xi;w)](4)
那么我们的目标就是
w∗=awrgmaxL(w)
(4) 中我们用到
ln(ab)=ln(a)+ln(b) ,是因为连乘比起连加,求最优的难度更大,所以用对数函数转换一下,方便求解。
将
(3) 带入
(4) ,得:
L(w)=∑iNln[P(y=1|xi;w)yi×(1−P(y=1|xi;w))(1−yi)](5)
化简:
L(w)=∑iN{ln[P(y=1|xi;w)yi]+ln[(1−P(y=1|xi;w)(1−yi)]}
L(w)=∑iN{yiln[P(y=1|xi;w)]+(1−yi)ln[1−P(y=1|xi;w)]}
我们有
P(y=1|x;w)=y=11+e−w⋅x
L(w)=∑iN{yiln(P(y=1|xi;w)1−P(y=1|xi;w))+ln(1−ew⋅xi1+ew⋅xi)}
回忆
(2),ln(P(y=1|xi;w)1−P(y=1|xi;w)) 实际就是
w⋅xi 嘛!
L(w)=∑iN{yiw⋅xi−ln(1+ew⋅xi)}
w∗=awrgmaxL(w)=awrgmin[−L(w)]=awrgmin∑iN{ln(1+ew⋅xi)−yiw⋅xi}(6)
最终目标函数成了最小化这个loss了,如何最小化?它关于x可导又连续,学过凸优化的都知道怎么做了吧?牛顿法、梯度下降等可以迭代求解最优。从搞神经网络的角度看,sigmoid是经典的激活函数,LR完全可以等价成一层的神经网络,激活函数是sigmoid!这里回忆一下,sigmoid函数的优良性质之一:导数好求。所以对于一切需要求梯度的方法,代码实现的难度就降低了。
附录
sigmoid函数求导
记 f=δ(x)
f=11+e−x=exex+1
1f−1=ex+1ex−1=ex
求导公式:(1f)′=−1f2; g(f)′=g′f⋅f′
f′=1(1+e−x)2e−x=f2(1f−1)=f(1−f)
似然
我们从机器学习的角度看
- 记 θ 为模型(参数)。
- 记 D 为训练数据集,是真实数据空间的抽样集合,训练数据集越大,D的分布越接近真实数据空间的分布。
-
记 x 为一个观测,也可以理解为一个训练样本,是真实数据空间的一个抽样,即随机变量X的一个取值。
-
似然/似然函数(likelihood):给定参数时,事件出现的可能性。
“似然”和“概率”可以算作同义词。通常,似然用于数据已知时描述模型参数(数据已知了还要描述数据出现的可能性,可不是就和参数有关嘛)。而概率通常用于描述未知的事件出现的可能性。似然的举例如下:
- 当假设数据集中的每个样本在样本空间中都是独立的时候,参数 θ 相对于样本集 D={x1,x2,x3,...,xn} 的似然为 L(θ)=P(x1,x2,x3,...,xn|θ)=∏niP(xi|θ)
- 参数 θ 相对于一个观测 x 的似然为 L(θ)=P(x|θ)
L(θ) 是一个关于 θ 的函数。特别的,当 θ 是随机变量时, L(θ) 是条件概率 P(X=x|θ) ,也可以写为 P(X=x;θ) 。
- 贝叶斯推理的观点:
θ 是服从分布 pθ 的随机变量,分布 pθ 是关于模型的假设,称为先验,先验概率(piror probability)也记为 p(θ) ;给定数据集能得到模型 θ 的概率 P(θ|D) 称为后验概率(posterior probability);参数 θ 下数据集样本都在观测都出现的概率 P(x|θ) 为似然(likelihood);数据集的联合概率为 P(D) 。
Reference:
周志华 -《机器学习》
ufldl - softmax
图片均来自维基百科