【传统机器学习算法—笔记】-逻辑回归

版权声明：如果对大家有帮助，大家可以自行转载的。原文链接：

二分类

将一类数据定义为类别1，其余数据为类型2，只需要分类一次。

多分类

先定义其中一类为类型1（正类），其余数据为负类（rest）；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有n类，那就需要分类n-1次。

Sigmod激活函数

$g(z)$ 代表一个常用的逻辑函数（logistic function）为$S$形函数（Sigmoid function），公式为：

合起来，我们得到逻辑回归模型的假设函数：

Sigmod图像

当$g(z)$大于等于0.5时，预测y=1;
当$g(z)$小于0.5时，预测y=0。

线性回归的函数$h(x)=z=w^{T}x,$范围是实数集。
而分类预测结果需要得到[0,1]的概率值；
在二分类模型中，时间的几率odds:事件发生与事件不发生的概率之比为$p/1-p$，称为事件的发生比；
取对数得到：$log(p/1-p)$，而$log(p/1-p)=w^{T}x=z$
求解得到：$p=1/(1+e^{-}{w}^{T}x)=1/(q+e^{(}-z))$

将z进行逻辑交换：

逻辑回归求解

假设一个二分类模型：

$p(y=1|x;w)=h(x)$
$p(y=0|x;w)=1-h(x)$
则：$p(y|x;w)=(h(x){)}^y(1-h(x){)}^{(}1-y)$
逻辑回归模型的假设是：$h(x)=g(w^{T}x)=g(z)$
其中$z=w^{T}x$，逻辑函数公式为：

代价函数
$J\left(w\right)=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log \left(h\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h\left(x^{(i)}\right)\right))$
为了衡量算法在全部训练样本上的表现如何，我们需定义一个算法的代价函数，算法的代价函数是对m个样本额损失函数求和然后除以m。

似然函数

梯度下降
$\frac{1}{m}{X}^T(Sigmoid(XW)-y)$
$$\frac{\partial J\left(w\right)}{\partial w_j}=\frac{1}{m}\sum _{i=1}^m(h\left(x^{(i)}\right)-y^{(i)})x_{{}_j}^{(i)}$$
正则化
$$J\left(w\right)=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}\log \left(h\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log \left(1-h\left(x^{(i)}\right)\right)]+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2$$