机器学习笔记：Logistic Regression

　　Logistic Regression算法非常著名，据说在工程实际中用得非常多。作为菜鸟一只，我在dragonstar课上第一次耳闻，由于Yu Kai老师讲得快，当时没怎么搞懂。今天听了CS229的课，找到了牛人的笔记和程序，才算略懂一点。

　　Logistic Regression是一种回归算法，它跟Linear Regression回归有一定的不同。它的y服从Bernoulli分布、取值为0或1的离散随机变量，而Linear Regression的y是服从高斯分布的连续随机变量；对于Linear Regression，它的h函数是特征x的线性组合，而Logistic Regression的h函数是是特征x线性组合的sigmoid函数；它俩回归（训练）的方法也不一样:Linear Regression是通过最小化平方损失函数(quadratic loss function)来得到权重参数theta，对于Logistic Regression，也可以借鉴linear的loss function，但用在Logistic Regression该函数“非凸”，于是采用了最大化似然函数p(y|x)(我认为这个叫法不妥，p(x|y)才是似然函数，p(y|x)是后验概率)的办法来解决。实际上，最大化似然函数是一种通用的方法，如果最大化Linear Regression中y的似然函数，也会得到最小化平方损失函数(quadratic loss function)。

　　由于Logistic Regression的输出变量y只有0或1，所以广泛地被用在了两类分类问题中。如果y=1~k，则可以解决k类分类问题，也就是后面要研究的SoftMax算法。

参考链接：

1、http://v.163.com/movie/2008/1/E/D/M6SGF6VB4_M6SGHKAED.html

2、http://52opencourse.com/125/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E5%85%AD%E8%AF%BE-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92-logistic-regression

3、http://blog.csdn.net/pennyliang/article/details/7045372