Logistic回归

Logistic回归（Logistic Regression，以下简称LR）属于常用的机器学习算法之一，可以用来回归，也可以用来分类，主要用来处理二分类的问题。与传统的二分类方法（例如SVM）不同的是，LR并不是将两个不同类别的样本完全分开，非此即彼，而是返回一个概率值，即预测样本有百分之多少的概率属于正类，又有百分之多少的概率属于负类，这接近于“模糊”（fuzzy）分类的范畴。在实际应用中，LR常被用于估计某种事物的可能性。例如，它可以用于广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地方。还有类似的某用户购买某商品的可能性，某病人患有某种疾病的可能性等等。

LR的本就是一个线性分类模型，它与线性回归的不同点在于：试图将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，用以表达“可能性”。而实现这个功能就需要一个映射，也就是给输出加一个logistic函数（或称sigmoid函数）： 

所以说，Logistic Regression 其实就是一个被logistic方程归一化后的线性回归，仅此而已。

也就是说，LR其实本质上是一个被logistic方程归一化后的线性回归过程。

在使用LR模型时，我们首先需要输入一组拥有不同特征（feature）的训练数据，并对每个训练数据事先判断其类别（target）。将这样一组数据输入后，模型将会通过算法“训练”自己，拟合出数据中feature与target之间的联系。完成训练后，我们就可以输入一个预测样本，模型将通过拟合出的关系，判断该样本的feature应当对应于哪一个target，并返回分属于不同target的概率。这就完成了一次完整的LR分类。

转载自：http://www.yunkuanke.com/#/content?id=bc3ec18d91cc4efd8500756e3470f024