机器学习算法原理详解（一）-----逻辑回归

开一个系列来记录自己在学习机器学习算法原理中的心得与感悟，首先从逻辑回归开始写起吧。

       逻辑回归在维基百科的定义是Logistic回归是一种统计模型，其基本形式是使用Logistic函数来对二元因变量建模，尽管存在许多更复杂的扩展。在回归分析中，逻辑回归(或logit回归)是对逻辑模型(一种二元回归形式)的参数进行估计。在数学上，二元逻辑模型有一个因变量，它有两个可能的值，比如通过/失败，它由一个指标变量表示。逻辑回归在问题类别中属于分类问题。而且常用在二分类问题中，当然也可以扩展到多分类问题上，二分类问题中的logistic函数使用的是sigmoid函数，sigmoid函数的公式表达如下： 

   

但是逻辑回归的实质是概率问题，可以分为条件概率来做处理。在这里先写一下贝叶斯公式

被称为后验概率 叫做在在A发生的情况下B也会发生的概率， 被称为条件概率，被称为先验概率

那么对应到分类问题中就变成了

回到sigmoid函数上，sigmoid函数可将一个实数映射到（0,1）的区间，sigmoid函数曲线图为

可以看到横坐标大于0.5的时候，sigmoid函数为正数，小于为负数，所以在实际的操作中通过判断你和曲线值y是大于0.5还是小于0.5来做分界线

sigmoid函数中的u实际是类别值函数，假设该分类问题中特征变量有x1,x2,.....xn，Y为类别值，那么可以得到

 ,其中u就是Y的实际值。

所以在实际计算中只需要找到这个方程式，去计算参数,得到决策分类函数。

那么逻辑回归同时也可以应用到多分类问题中，在多分类问题中，采用one vs all的方法，比如是三分类问题有A,B,C 三类，首先把A当做一类，余下的B,C当做一类训练一个分类器，然后将B当做一列，然后将A,C当做一类训练一个分类器；最后将C当做一类，将A,B当做一类训练一个分类器，从而实现多分类问题的识别。