#机器学习公式推导#logistics 回归

logistics回归虽然名字叫回归，但其实是一种分类算法，有很多优点，1、判别式算法，直接对数据进行建模，不需要考虑数据的分布，也就是不需要考虑Y的先验这个问题。2、实现简单，目标函数是可导的凸函数，方便求最优解。
以下我们以二分类为例介绍这一个算法。

一说到二分类问题，我们自然会联想到分段函数（或称阶跃函数），设定一个阈值，大于阈值为正例，小于阈值为负例，图像如下：

可以很明显的发现一个问题，我们在求解最优化问题的时候，大部分情况下需要求导，而阶跃函数不连续，于是我们希望能找到处处可导的函数作为替换，于是引入sigmoid函数。

sigmoid函数

sigmoid函数的公式非常简单，而且有单调可导的好性质。


了解过线性回归的话，就可以得知，建模的目的在于拟合这样一个公式，这个公式如果拟合出来，得到的结果是一系列的值，所以要想转化成二分类问题，就需要将我们前面介绍过的sigmoid的函数代入进来。得到下面的公式。

公式推导

用极大对数似然法建模，极大似然的思想是给定已有的样本结果，然后求出使得现有样本结果出现概率最大的参数，也就是这里的W。极大对数似然是在极大似然的基础上取对数，主要是为了方便计算，把累乘变成累加。
为了方便计算，我们将转化为（涉及一个简单的矩阵变换，可以去网上查矩阵乘法的资料）
令p(y=1|x)=，取做式p1
p(y=0|x)=,取做式1.2
那么p(y|x)=
写出需要对数似然函数：

ps公式推导到这里，我们可以发现，式3就是交叉熵的形式。（有关交叉熵的内容见下一篇博文）
最终求解目标是求得令L(β)最大的β，我们在L(β)前加个负号就转化成了最小值求解问题，可以用梯度下降法求得最优解。