机器学习方法总结

分类

机器学习根据训练⽅法⼤致可以分为3⼤类：

• 监督学习
• ⾮监督学习
• 强化学习

⼤家可能还听过 “ 半监督学习 ” 之类的说法， 但是那些都是基于上⾯3类的变种，本质没有改变。

监督学习

概念

监督学习是机器学习的一种训练方式/学习方式。
监督学习是指我们给算法一个数据集，并且给定正确答案。机器通过数据来学习正确答案的计算方法。
监督学习需要有明确的目标，很清楚自己想要什么结果。比如：按照“既定规则”来分类、预测某个具体的值…

流程

1. 选择一个适合目标任务的数学模型
2. 先把一部分已知的“问题和答案”（训练集）给机器去学习
3. 机器总结出了自己的“方法论”
4. 人类把“新的问题”（测试集）给机器，让他去解答

主流的监督学习算法

监督学习有两个主要任务：

• 回归：预测连续的、具体的数值。
• 分类：对各种事物分门别类，用于离散型预测。

算法	类型	简介
朴素贝叶斯	分类	贝叶斯分类方法是基于贝叶斯定理的统计学分类方法。它通过预测一个给定的元组属于一个特定类的概率，来进行分类。朴素贝叶斯分类法假定一个属性值在给定类的影响独立于其他属性——类条件独立性
决策树	分类	决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类
SVM	分类	支持向量机把分类问题转化为寻找分类平面问题，并通过最大化分类边界点距离分类平面的距离来实现分类
逻辑回归	分类	逻辑回归是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法
线性回归	回归	线性回归是处理回归任务的最常用的算法之一。该算法的形式十分简单，它期望使用一个超平面拟合数据集（只有两个变量的时候就是一条直线）
回归树	回归	回归树（决策树的一种）通过将数据集重复分割为不同的分支而实现分层学习，分割的标准是最大化每一次分离的信息增益。这种分支结构让回归树很自然的学习到非线性关系。
K邻近	分类+回归	通过搜索K个最相似的实例（邻居）的整个训练集并总结那些K个实例的输出变量，对新数据点进行预测
Adaboosting	分类+回归	Adaboost目的就是从训练集数据中学习一系列的弱分类器或基本分类器，然后将这些弱分类器组合成一个强分类器
神经网络	分类+回归	它从信息处理角度对人脑神经元进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络

非监督学习

概念

非监督学习是机器学习的一种训练方式，它本质上是一个统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。
非监督学习中，给定的数据集没有“正确答案”，所有的数据都是一样的。无监督学习的任务是从给定的数据集中，挖掘出潜在的结构。
特点：
①无监督学习没有明确的目的
②无监督学习不需要给数据打标签
③无监督学习无法量化效果

无监督学习算法

• 聚类
  简单说就是一种自动分类的方法，在监督学习中，你很清楚每一个分类是什么，但是聚类则不是，你并不清楚聚类后的几个分类每个代表什么意思。
• 降维
  降维看上去很像压缩。这是为了在尽可能保存相关结构的同时降低数据的复杂度。

算法	类型	简介
K均值聚类	聚类	K 均值聚类就是制定分组的数量为 K ， ⾃动进⾏分组。
层次聚类	聚类	如果你不知道应该分为⼏类， 那么层次聚类就⽐较适合了。层次聚类会构建⼀个多层嵌套 的分类， 类似⼀个树状结构。
主成分分析 – PCA	降维	主成分分析是把多指标转化为少数⼏个综合指标。主成分分析经常⽤减少数据集的维数， 同时保持数据集的对⽅差贡献最⼤的特征。这是通 过保留低阶主成分， 忽略⾼阶主成分做到的。 这样低阶成分往往能够保留住数据的最᯿要 ⽅⾯。
奇异值分解 – SVD	降维	奇异值分解 （ Singular Value Decomposition ） 是线性代数中⼀种᯿要的矩阵分解， 奇 异值分解则是特征分解在任意矩阵上的推⼴。在信号处理、统计学等领域有᯿要应⽤。
⽣成模型和 GAN		⽣成模型的指导原则是， 能够构建⼀个令⼈信服的数据示例是理解它的最有⼒证据。对于图像来说， 迄今为⽌最成功的⽣成模型是⽣成对抗⽹络 （ GAN ） 。 它由两个⽹络组 成： ⼀个⽣成器和⼀个鉴别器， 分别负责伪造图⽚和识别真假。

强化学习

概念

强化学习并不是某⼀种特定的算法， ⽽是⼀类算法的统称。
强化学习更接近生物学习的本质，因此有望获取更高的智能。它关注的是智能体如何在环境中采取一系列行为，从而获得最大的累积回报。通过强化学习，一个智能体应该知道在什么状态下应该采取什么行为。
强化学习和监督学习、 ⽆监督学习 最⼤的不同就是不需要⼤量的 “ 数据喂养 ” 。 ⽽是通过⾃⼰不停的尝试来学会某些技能。

应用场景

1. 游戏
2. 机器人
3. 各种推荐系统

强化学习的主流算法

• 有模型学习
  有模型学习 （ Model-Based ） 对环境有提前的认知， 可以提前考虑规划， 但是缺点是如 果模型跟真实世界不⼀致， 那么在实际使⽤场景下会表现的不好。有模型学习算法包括纯规划、Expert Iteration等。
• 免模型学习
  免模型学习（ Model-Free ）放弃了模型学习， 在效率上不如前者，但是这种⽅式更加容易实现，也容易在真实场景下调整到很好的状态。所以免模型学习⽅法更受欢迎，得到更 加⼴泛的开发和测试。免模型学习算法包括策略优化 （ Policy Optimization ）、Q-Learning等。

参考连接

https://easyai.tech/ai-knowledge-hub/