机器学习基础之初识机器学习中的各种模型和算法

目录

算法概述

监督学习

无监督学习

算法分类 

回归模型

正则化模型

聚类模型

关联规则模型

判别模型

贝叶斯模型

决策树模型

降维模型

图模型

支持向量机模型

人工神经网络模型

集成模型

深度学习

---

算法概述

总体分类，机器学习中的算法模型可以分两大类：

1. 监督学习算法
2. 无监督学习算法

监督学习

监督学习是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有导师训练。

在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。一个最佳的方案将允许该算法来正确地决定那些看不见的实例的类标签。这就要求学习算法是在一种“合理”的方式从一种从训练数据到看不见的情况下形成。

监督学习中在给予计算机学习样本的同时，还告诉计算各个样本所属的类别。若所给的学习样本不带有类别信息,就是无监督学习。任何一种学习都有一定的目的,对于模式识别来说，就是要通过有限数量样本的学习，使分类器在对无限多个模式进行分类时所产生的错误概率最小。

常见的监督学习算法：

• 线性回归
• 逻辑回归
• 朴素贝叶斯
• KNN(最近邻算法）
• 决策树
• 支持向量机
• 某些可用于分类或预测功能的神经网络模型

无监督学习

如果缺乏足够的先验知识，难以人工标注类别，或者进行人工类别标注的成本太高，我们希望计算机能代我们完成这些工作。这样就引出了无监督学习——根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。 

常见的无监督学习算法

• 系统聚类
• K-means
• K-中值聚类
• K-众数法
• 某些神经网络模型，比如BP神经网络等
• 受限玻尔兹曼机

算法分类 

回归模型

回归模型研究的问题因变量（y）和一个或多个自变量 （x）的函数关系，可以用于预测，是现代预测学的基础。此外也可以用于分类。以前属于统计学范畴，现在也归到机器学习的范畴。

• 最小二乘法
• 逻辑回归
• 逐步回归
• 多元自适应样条法：是利用样条函数的张量积作为基础函数，分为前向过程，剪枝等过 程。在处理大量数据，高维数据时表现良好
• 本地权重评估估计法：引入数据窗口概念，一般应用在量化投资，金融分析等领域

正则化模型

正则化模型的思想是基于一个基础模型（比如最小二乘 法）引入惩罚措施，目的是使模型具有更好的泛化能力

• 岭回归
• LASSO回归
• 弹性网
• 最小角回归

聚类模型

聚类算法的特点一般是基于距离度量来对数据做聚类分 析，聚类的类别事先是不知道的。

• K-Means
• 最大期望法

关联规则模型

模型的核心思想是挖掘数据之间的关联关系，典型的案 例 ：啤酒-尿布案例

• Apriori

判别模型

又称基于实例模型

判别模型模型的特点基于样本数据建立判别函数，通过判别函数判别新样本的类归属问题

• KNN(k-最近邻法）
• 学习向量量化算法
• 自组织映射法
• 本地权重学习法

贝叶斯模型

这个模型的核心思想是基于贝叶斯公式（定理），是一 个种概率模型，可以应用自动推理，文本分析里的垃圾信息过滤

• 朴素贝叶斯
• 贝叶斯信念网络

决策树模型

决策树建立的模型不是函数式，而是一个决策树，既可以解决分类问题，也可以结局预测问题

• CART树
• ID3算法树
• C4.5算法树
• 卡方自动交叉校验树
• M5算法树：通过方差诱导思想来实现树的分裂，当方差或误差小于一定阈值时，停止树的分裂

降维模型

模型的核心思想是做数据的降维，因为数据维数越高，计算代价越大。

• 主成分分析

图模型

核心思想通过图的形式来建模

• 贝叶斯网络
• 马尔科夫随机域
• 链图
• 祖先图

支持向量机模型

支持向量机主要解决分类问题，在数据升维过程中，可能带来维数灾难问题，而SVM引入核函数概念，可以解决高维计算问题，所以性能很好。此外还包含凸优化理论，拉格朗日乘子法等知识。可以应用于手写体识别，语音识别等领域

• SVM

人工神经网络模型

核心思想是模拟人的神经元来建模，含有接收数据+处理数据+传输函数模型

• BP神经网络

集成模型

集成模型的特点将多个弱模型组合在一起。所以可以提高模型的精度和准确度。

• Boosting
• Bagging（装袋算法）
• 层叠泛化算法
• 梯度提升机算法
• 梯度提升回归树算法
• 随机森林

深度学习

本质是神经网络的延伸，具有一定的模型深度

• 深玻尔兹曼机
• 深信念网络