分类（四）：逻辑回归(Logistic Regression)

理论知识的理解参考：http://blog.csdn.net/zouxy09/article/details/20319673

对于数学公式不知道怎么推导出来的，可以参考：http://pan.baidu.com/s/1hqLeaMS ，密码：z4lr

其中有篇文档介绍如何用初等数学解读逻辑回归的，讲的比较容易懂

核心思想：

• 几何变换的视角：高维空间映射到一维空间 → 一维空间映射到[0,1]区间       → [0,1]区间映射到具体的值，求最优化解

• 特征处理的视角：特征运算函数求特征单值z → sigmoid函数求概率 → 代价函数求代价评估值，求最优化解

首先要说明的是，在逻辑回归的问题中，这两个视角是并行的，而不是包含关系。它们是同一个数学过程的两个方面。 

• 比如，我们后来处理复杂的非线性可分问题的时候，看似只用的是特征处理的思路。其实，对于复杂的非线性分离边界，也可以映射到高维空间进行线性可分的处理。在SVM中，有时候某些核函数所做的映射与之非常类似。这将在我们接下来的SVM系列文章中有更加详细的说明。
  

在具体的分析过程中，运用哪种视角都可以，各有优点。 

• 比如，作者个人比较倾向几何变换的视角来理解，这方便记忆整个逻辑回归的核心过程，画几张图就够了。相应的信息都浓缩在图像里面，异常清晰。

• 于此同时，特征处理的视角方便你思考你手上掌握的特征是什么，怎么处理这些特征。这其实的数据挖掘的核心视角。因为随着理论知识和工作经验的积累，越到后面越会发现，当我们已经拿到无偏差、倾向性的数据集，并且做过数据清洗之后，特征处理的过程是整个数据挖掘的核心过程：怎么收集这些特征，怎么识别这些特征，挑选哪些特征，舍去哪些特征，如何评估不同的特征……这些过程都是对你算法结果有决定性影响的极其精妙的精妙部分。这是一个庞大的特征工程，里面的内容非常庞大，我们将在后续的系列文章中专门讨论。

总的来说，几何变换视角更加直观具体，特征处理视角更加抽象宏观，在实际分析过程中，掌握着两种视角的内在关系和转换规律，综合分析，将使得你对整个数据挖掘过程有更加丰富和深刻的认识。

为了将这两种视角更集中地加以对比，请看下面的图表，方便读者查阅。