Logistic Regression

逻辑回归VS线性回归

        逻辑回归虽然有回归字样，但是它是一种被用来解决分类的模型，为什么叫逻辑回归是因为它是利用回归的思想去解决了分类的问题。

        逻辑回归和线性回归都是一种广义的线性模型，只不过逻辑回归的因变量(Y)服从伯努利分布(离散分布)，而线性回归的因变量(Y)满足的是高斯分布(正态分布)，因此他们两个是很相似的。

逻辑回归

        假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，最终达到数据二分类的目的。

STEP1：FUNCTION（MODEL） SET

由于分成两类，我们让其中一类标签为0，另一类为1。我们需要一个函数(Sigmoid Function)，对于输入的每一组数据X，都能映射成0~1之间的数。并且如果函数值大于0.5，就判定属于1，否则属于0。

STEP2: GOODNESS OF A FUNCTION

 

逻辑回归中常用交叉熵损失函数，式子如上。

SETP3:FIND THE BEST FUNCTION

GENERATIVE VS DISCRIMINATIVE

用Gaussian来描述Posterior Probability为Generative方法。用Logistic Regression的方法为Discriminative方法。尽管使用相同的Function Set，但是由于做了不同的假设，二者得到的b和w不同。其中Generative是先算出means 和covariance matrix（Gaussian）再求得w和b，而Discriminative方法是直接求得w和b。二者结果不同。

区别在于Generative做了某些假设，而Discriminative没有做任何假设。这意味着它做了一些猜想，脑补出了原先不存在的内容，会产生错误的结果。但这样的关于Probabilities的猜想会有优势，他可以需要更少的Training data, 抗噪声信息能力强等等。

LIMITATION OF LOGISTIC REGRESSION

 因为使用了协同方差的Logistic Regression在两个class之间的boundary是一个直线，在异或问题上无法使用Logistic Regression解决。解决方案是使用Feature transformation。

 如图所示，通过转化feature以后，我们得到一个新的feature space，就可以用Logistic Regression的Boundary把它们划分开来。

 我们可以使用叠起来的Neurons(Layer)来模拟这个转化的过程，这样一来通过层数的叠加，就可以解决此问题，我们也可以从这个角度切入，更好的理解Neural Network, Deep Learning的强大。