【机器学习】——逻辑回归

首先简单介绍一下机器学习：

机器学习就是给定一定的输入，通过施加一定的算法，得到输出，然后通过学到的知识，输入新的数据，获得新的输出。

用图直观的表示就是如下：

而逻辑回归是机器学习模型中的一种，是通过已知输入和输出，得到算法，从而可以通过新的输入得到新的输出。

逻辑回归的概念性介绍

逻辑回归一般运用于两种问题，一种是估计某事物的可能性，另一种是适用于流行病学资料的危险因素分析。

逻辑回归简单来说是线性回归的一种，事实上它是被logistic方程归一化后的线性回归。在许多实际问题中，比如流行病学常研究的二分类因变量（患病与未患病，阳性与阴性等）与一组（X1,X2,X3....,Xn)自变量的关系这类问题时，我们需要回归产生一个类似概率值（0-1）之间的数值来进行预测。这种情况下这个数值必须是0-1之间，而线性回归就显得无能为力了，因此人们引入了Logistic方程来做归一化。使因变量的取值框定在0-1之间，这种变换方法称之为逻辑回归。

我们也可以简单理解为一个线性回归经过阶跃函数的处理，变成一个二项分类器，输出结果只能是0，1的条件概率的大小，其实是一种概率模型。

逻辑回归的算法原理

sigmoid函数

函数图像如下：

由图像可知该函数有一个很好的特性就是在实轴域上y的取值在（0,1），且有很好的对称性，对极大值和极小值不敏感（因为在取向无论是正无穷还是负无穷的时候函数的y几乎很稳定）。

基于这个函数值域的特性，我们可以想到该函数的函数值正可以表示一个概率值（暂不考虑概率为0或1的情况）。

由于 b可以堪称是θ的一个分量，这个时候b对应的x值默认为1，所以接下来我们只需求解出θ即可

求解θ

求解θ有两种方法，一种是最大使然估计法，接下来我将详细介绍另一种方法——从损失函数出发

为了方便对θ求导引入以下特性：