Logistic Regression

概述

---

逻辑斯蒂回归是一个分类算法，它通过将输入值进行线性合并，然后通过sigmoid函数将线性合并的值映射到（0，1）之间，得到类别的概率表示。

sigmoid函数：

有

逻辑斯蒂回归模型

---

输入向量尾部加1，上式可写作

该模型有一个比较好的特点是对某个输入其分类类别之间的对数几率是x的线性函数。

事件发生的几率(odds)定义为

,

对LR来说

逻辑斯蒂回归模型又称为对数线性模型

参数估计

---

使用最大似然法进行参数估计

令，单个数据的概率分布符合伯努利分布，有

可以通过拟牛顿法或梯度下降法求对数似然的最大化问题。

多项逻辑斯蒂回归

---

假设有K个类别，引入K-1个参数向量,得到模型

可以通过极大似然法进行参数估计得到最优的。

神经网络化

---

softmax函数：

softmax函数将

进行归一化得到一个概率分布P。

有以下特征：

,即向量各个元素加一个相同的数经过softmax得到的概率分布与softmax直接在向量上得到的概率分布相同。该性质对于数值计算有帮助，实践中常常在上进行softmax变换。

经过softmax变换后，中最大的元素对应下标在最后概率分布P中会更突出。

对比前面多项逻辑斯蒂回归模型，令

,

多项逻辑斯蒂回归模型可表示成

所以可以把多项逻辑斯蒂回归看做一个3层的神经网络，输入层为输入向量,隐含层有K个节点，激活函数为,输出层为softmax。网络拓扑如下

该网络以对数损失（对数似然损失，交叉熵损失）为损失函数。

【二项逻辑斯蒂回归可用两层神经网络表示】