二项 Logistic 回归模型

将线性回归函数和Logistic函数复合起来，称为逻辑回归函数，二项Logistic回归模型是一种分类模型，二项Logistic回归模型是如下的条件概率分布：

$\begin{align} \\& P \left( Y = 1 | x \right) = \dfrac{1}{1+\exp{-\left(w \cdot x + b \right)}} \\ & \quad\quad\quad\quad = \dfrac{\exp{\left(w \cdot x + b \right)}}{\left( 1+\exp{-\left(w \cdot x + b \right)}\right) \cdot \exp{\left(w \cdot x + b \right)}} \\ & \quad\quad\quad\quad = \dfrac{\exp{\left(w \cdot x + b \right)}}{1+\exp{\left( w \cdot x + b \right)}}\\& P \left( Y = 0 | x \right) = 1- P \left( Y = 1 | x \right) \\ & \quad\quad\quad\quad=1- \dfrac{\exp{\left(w \cdot x + b \right)}}{1+\exp{\left( w \cdot x + b \right)}} \\ & \quad\quad\quad\quad=\dfrac{1}{1+\exp{\left( w \cdot x + b \right)}}\end{align}$

其中，是输入，是输出，和是参数，称为权值向量，称为偏置，为和的内积。

Logistic回归比较两个条件概率值的大小，将实例分到概率值较大的那一类。

可将权值权值向量和输入向量加以扩充，即，，则逻辑斯谛回归模型如下：
$\begin{align*} \\& P \left( Y = 1 | x \right) = \dfrac{\exp{\left(w \cdot x \right)}}{1+\exp{\left( w \cdot x \right)}}\\& P \left( Y = 0 | x \right) =\dfrac{1}{1+\exp{\left( w \cdot x \right)}}\end{align*}$

模型参数估计

Logistic回归模型学习时，对于给定训练数据集，其中，，可以应用极大似然估计法估计模型参数，从而得到Logistic回归模型。

设：

似然函数为：
$\begin{align*} \\& l \left( w \right) = \prod_{i=1}^{N} P \left( y_{i} | x_{i} \right) \\ & = P \left( Y = 1 | x_{i} , w \right) \cdot P \left( Y = 0 | x_{i}, w \right) \\ & = \prod_{i=1}^{N} \left[ \pi \left( x_{i} \right) \right]^{y_{i}}\left[ 1 - \pi \left( x_{i} \right) \right]^{1 - y_{i}}\end{align*}$
对数似然函数为：
$\begin{align*} \\& L \left( w \right) = \log l \left( w \right) \\ & = \sum_{i=1}^{N} \left[ y_{i} \log \pi \left( x_{i} \right) + \left( 1 - y_{i} \right) \log \left( 1 - \pi \left( x_{i} \right) \right) \right] \\ & = \sum_{i=1}^{N} \left[ y_{i} \log \dfrac{\pi \left( x_{i} \right)}{1- \pi \left( x_{i} \right)} + \log \left( 1 - \pi \left( x_{i} \right) \right) \right] \\ & = \sum_{i=1}^{N} \left[ y_{i} \left( w \cdot x_{i} \right) - \log \left( 1 + \exp \left( w \cdot x \right) \right) \right]\end{align*}$
对求极大值，得到的估计值。这样，问题就变成了以对数似然函数为目标函数的最优化问题。Logistic回归学习中通常采用的方法是梯度下降法和拟牛顿法。

假设的极大似然估计值是，则学得的Logistic回归模型为：

$\begin{align} \\& P \left( Y = 1 | x \right) = \dfrac{\exp{\left(\hat{w} \cdot x \right)}}{1+\exp{\left( \hat{w} \cdot x \right)}}\\& P \left( Y = 0 | x \right) =\dfrac{1}{1+\exp{\left( \hat{w} \cdot x \right)}}\end{align}$

多项 Logistic 回归模型

可将上面介绍的二项分类Logistic回归模型推广为多项Logistic回归模型，用于多类分类。

假设离散型随机变量的取值集合，则多项逻辑斯谛回归模型为：
$\begin{align*} \\& P \left( Y = k | x \right) = \dfrac{\exp{\left(w_{k} \cdot x \right)}}{1+ \sum_{k=1}^{K-1}\exp{\left( w_{k} \cdot x \right)}}, \quad k=1,2,\cdots,K-1 \\ & P \left( Y = K | x \right) = 1 - \sum_{k=1}^{K-1} P \left( Y = k | x \right) \\ & = 1 - \sum_{k=1}^{K-1} \dfrac{\exp{\left(w_{k} \cdot x \right)}}{1+ \sum_{k=1}^{K-1}\exp{\left( w_{k} \cdot x \right)}} \\ & = \dfrac{1}{1+ \sum_{k=1}^{K-1}\exp{\left( w_{k} \cdot x \right)}}\end{align*}$
二项Logistic回归的参数估计法也可以推广到多项Logistic回归。

Logistic 回归模型

二项 Logistic 回归模型

模型参数估计

多项 Logistic 回归模型

你可能感兴趣的:(Logistic 回归模型)