机器学习：分类与回归（classify and regression）

分类与回归问题

在用DBN作手写体识别实验的时候，hinton 2006年发表的论文 A fast learning Algorithm for deep belief nets所对应的代码，里面用到softmax进行多分类。现就所查的资料和自己所理解的，整理这篇Blog。 

Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，本文针对线性回归、逻辑回归和softmax回归问题做些简单介绍。

分类、回归问题的不同

首先解释一下回归问题，分类问题的不同点。回归问题预测的结果是连续的值，而分类问题的预测结果是离散的。拿支持向量机举个例子，分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是：给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是：给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1）。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。综上，回归问题和分类问题的本质一样，不同仅在于他们的输出的取值范围不同。分类问题中，输出只允许取两个值；而在回归问题中，输出可取任意实数。

线性回归 （Linear regression）

在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。

逻辑回归（Logistic regression）

逻辑回归的模型 是一个非线性模型，sigmoid函数，又称逻辑回归函数。但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。

只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。

逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，逻辑回归成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。 对于多元逻辑回归，可用如下公式似合分类，其中公式(4)的变换，将在逻辑回归模型参数估计时，化简公式带来很多益处，y={0,1}为分类结果。 

逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，逻辑回归成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。 对于多元逻辑回归，可用如下公式分类，其中公式(4)的变换，将在逻辑回归模型参数估计时，化简公式带来很多益处，y={0,1}为分类结果。

Softmax 回归（softmax regression）

我们知道logistic regression很适合做一些非线性方面的分类问题，不过它只适合处理二分类的问题，且在给出分类结果时还会给出结果的概率。Softmax就是在logistic 上的扩展。Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。

 

 

 

参考资料：

知乎分类、回归区别 http://www.zhihu.com/question/21329754/answer/18004852 

对线性回归、逻辑回归，各种回归模型的概念学习 http://blog.csdn.net/viewcode/article/details/8794401 

逻辑回归模型 http://www.tuicool.com/articles/auQFju 

Ufldl Softmax 回归 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 

Tornadomeet 博客 http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html