生成模式和判别模式

生成模型：由数据学习联合概率分布，求出条件概率分布作为预测模型
  朴素贝叶斯法

判别模式：由数据直接学习决策函数或者条件概率分布作为预测模型
  典型的判别模型: k近邻算法，感知机，决策树，逻辑回归，最大墒模型，支持向量机，提升方法和条件随机场

分类问题

在监督学习中，输出变量Y取有限个离散值时，预测问题变成了分类问题

包括学习和分类两个过程

标注问题

标注问题是分类问题的一个推广

回归问题

回归用于预测输入变量和输出变量之间的关系，回归模型正是表示从输入变量到输出变量之间映射的函数。
回归问题等价于函数拟合，选择一条函数曲线使其很好的拟合已知数据并且很好的预测问题之数据。