LR多分类与softmax分类

LR多分类与softmax分类

LR是一种传统的二分类模型，也可以做多分类模型，其实现思路如下：

• 将多分类模型拆分成多个二分类模型
• 分别训练二分类模型
• 将多个二分类模型进行集成，选取概率值最大的那个作为最终的分类结果

. logistic函数(sigmoid函数)

该函数常被用作神经网络的激活函数。

• LR的似然函数

• 

需要选择合适的参数θ 使似然函数最大化

. LR 似然函数最大化，求出合适的参数θ

第一步： 对似然函数取对数

第二步： 利用梯度下降法来求参数 θ

第三步： 更新法则：

softmax 回归

. softmax函数的定义

softmax函数又称为归一化指数函数,是逻辑函数一种推广式，它能将一个含任意实数的K维向量z “压缩”到另一个K维实向量中，使得每一个元素都在(0,1)之间,所有元素的何为1。

. softmax函数表达式

softmax函数的表达式为：

其中，j = 1,2,...,K

特别地，在多项逻辑回归和线性判别分析中，函数的输入是从K个不同的线性函数得到的结果，而样本向量x属于第j个分类的概率为：

. softmax的代价函数

类似于LR，其似然函数我们采用对数似然，故损失函数为：

加入L2正则项的代价函数：

. softmax的梯度求解

第一步： 对L2正则项求导

第二步： 对损失函数的梯度求解

• 求解损失函数

• 的梯度

• 为了使得求解过程简便且易于理解，下面先只对于一个样本（x,y）求梯度：

令

正则化之后的损失函数的梯度为：

通过梯度下降法最小化 J(θ),就能实现 softmax 回归模型。