logistic 回归

基本理论

logistic回归的总体思路：线性回归→(激活函数)→线性分类

激活函数即sigmoid函数，即

logistic回归模型表达式：

其中  ， 为特征的个分量（维度）

logistic回归模型只做二分类时，可以看出：

将写在同一个式子，为：

通常用最大似然估计法，对logistic模型中的参数进行估计，假设有N个已知标签的样本即：

可以看出其实对参数 进行最大似然估计等价于对交叉熵做最小化

扩展

现在再聊聊聊为什么logistic回归明明是分类模型但是却叫回归：

1.正如开头所说的logistic回归用回归的思路解决分类问题

2.，从这个角度看其实logistic回归是广义的线性模型

3.logistic回归最早是统计学家David Cox在1958年的《二元序列的回归分析》中提出，当时的回归概念和现在有点差异，“回归”这个名字一直沿用至今

将logistic回归应用至多分类：

将logistic回归应用至多分类常用的方法是多项逻辑回归(Softmax Regrsesion)

Softmax回归是logistic回归的一般化，适用于K分类的问题，第K类的参数为向量,组成的二维矩阵, n为特征的n个分量（维度）

Softmax回归概率函数为:

从这个形式，可以从感性的认识看出：Softmax回归和logistic回归都是分母是各个类别的和，而分子是特定类别的大小。也就是说Softmax回归是logistic回归的一般化。

证明当类别数K=2时，Softmax回归就是logistic回归

当K=2时，有：

利用参数冗余的特点，将所有参数都减去，则上式改写为：

其中