逻辑回归

逻辑回归

0.引言

本文主要参考了李航的《统计学习方法》，算做学习笔记。

1. 二元逻辑回归模型定义

二元逻辑回归是一种分类模型，由条件概率来表示，其中随机变量是实数，随机变量的取值范围是{0,1}。用公式来描述这个模型：


其中，和都是这个逻辑回归模型的参数。是权重项，是偏置项。为了方便，我们可以把偏重项看做权重为b的的权重项，然后再在输入中扩充一个维度。即, .再改写模型描述为：


其中，和都是这个逻辑回归模型的参数。

2.逻辑回归模型的由来

疑问

其实我一开始也觉得很疑惑，怎么以上来就出来个逻辑回归，为什么叫逻辑回归？它的由来是什么？甚至考虑到找工作面试官让你手撕逻辑回归的时候会有些懵逼，从何开始呢？现在就来记录对这些问题的思考，其实也就是读了《统计学习方法》对逻辑回归这部分内容以后的理解。

事件发生的几率

一个事件发生或者不发生除了用概率来描述，还可以用几率来描述。几率的定义是“事件发生概率与该时间不发生概率的比值”。如果一个事件发生的概率为，那么几率就可以这样表示：

对数几率

有了几率的概念，再来引入对数几率：

对数几率实际上就是几率的对数函数。

3.逻辑回归模型的模型参数估计

逻辑回归模型在学习时，需要通过训练数据集来拟合得到模型的参数，如权重和。参数估计的方法采用极大似然估计法。估计得到参数后就可以得到逻辑回归模型：
假设:

数据集则可以得到似然函数：

对数似然函数：

推导到这里需要一个想办法把给变出来，因为是我们需要估计的参数。用什么变出来呢？从与的关系入手！


于是我们抄写一遍前面的式子，继续推导：

得到对数似然函数后，我们得到了一个目标函数，将其看成一个最优化问题进行求解即可。可以采用梯度下降法或者拟牛顿法进行学习求解。

4.再访二元逻辑回归模型描述

如果逻辑回归模型在理论上最优的权值为,那么我们将通过数据集训练得到的权值记为.
最终的二元逻辑回归模型描述为：

5.多元逻辑回归模型——二元逻辑回归的拓展

相比二元逻辑回归，多元逻辑回归中随机变量Y的取值为
那么模型描述为：


实际上是一对多的思路，同样可以采用二元逻辑回归中的参数估计方法，求对数似然函数的方式构造目标函数，再通过求解最优化问题来求出权重参数。