机器学习及其算法分类

机器学习

机器学习是一门研究如何让计算机学习，让计算机程序能够进化的学科。
计算机传统的工作模式是：“命令– 执行”；计算机算法的工作模式是：“任务– 学习– 评估– 学习”。

对机器学习的释义

让我们先听听前人对机器学习的定义吧：
机器学习研究如何让计算机不需要明确的程序也能具备学习能力。——Arthur Samuel,1959
一个计算机程序在完成了任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以衡量的P，随着E的增加而增加，可以称其为学习。——Tom Mitchell,1977
虽然机器学习的研究来源于人工智能领域，但是机器学习的方法却应用于数据科学领域，因此我们将机器学习看作是一种数学建模更合适。
机器学习的本质就是借助数学模型理解数据。
当我们给模型装上了可以适应观测数据的可调参数时，“学习” 就开始了；此时的程序被认为具有从数据中“学习” 的能力。一旦模型可以拟合旧的观测数据，那么它们就可以预测并解释新的观测数据。

常用算法模型及其分类

距离类模型

KNN分类器
KNN回归器（分类与回归的区别：分类是判断对应类别而回归的输出是一个具体值。）
K-Means聚类

线性方程模型

逻辑回归
线性回归
岭回归
Lasso回归
弹性网

规则类模型

分类树
回归树
Apriori关联规则
FP-Growth频繁项挖掘

条件概率模型

朴素贝叶斯
贝叶斯网络

矩阵分解类模型

主成分分析PCA
奇异值分解SVD

强学习器

支持向量机分类器
神经网络分类器
支持向量机回归
神经网络回归
支持向量机聚类

集成算法

Bagging（随机森林）分类/回归
Boosting（Adaboost，GBDT）分类/回归