人工智能 机器学习 数据挖掘 数据分析 算法大全

列举一下机器学习最经典的、最具代表性的一些算法或重要概念，了解一下机器学习领域的主要内容分类。

---

1.回归

线性回归(Linear回归)

Logistic回归(逻辑回归)【二分类算法，但本质上是属于回归】

多项式回归

Ridge回归(岭回归)

LASSO回归

Elastic Net回归(弹性网络回归)

最小角回归

---

2.决策树 

ID3算法

C4.5算法

CART算法

---

3.支持向量机

SVM

SVR，SVC (支持向量回归、支持向量分类)

SMO

---

4.集成学习

Bagging

-》随机森林（Random Forest）

Boosting

-》AdaBoost（自适应增强）

-》GBDT（梯度提升决策树）

-》XgBoost（极限梯度提升）

-》LightGBM

-》CatBoost

Stacking

Blending

---

5.神经网络

ANN   人工神经网络

-》基于BP算法的人工神经网络

-》DNN 深度神经网络

CNN   卷积神经网络

-》ImageNet（2010-图像分类比赛项目）

-》AlexNet（2012）

-》LeNet（2013）

-》VGG（2014）

-》GoogLeNet（2014）

-》InceptionNet（2014）

-》ResNet（2015）

-》FCN（2015）

-》SSD（2015）

-》Yolo（2015）

-》DenseNet（2016）

-》Faster R-CNN（2016）

-》YOLOv2（2016）

-》Inception-v4（2016）

-》YOLOv3（2017）

-》Mask RCNN（2018）

-》Mask Scoring R-CNN（2019）

RNN 递归/循环神经网络

-》LSTM 长短期记忆网络

-》GRU 门控循环单元

-》BiLSTM 双向RNN

GAN 对抗生成网络

-》DCGAN

-》WGAN

-》WGAN-GP

-》LSGAN-BEGAN

DBN 深度信念网络

-》RBM 受限玻尔兹曼机 

-》DBM 深度受限玻尔兹曼机

-》SAE 稀疏自动编码器

-》DBN 深度信念网络 

序列生成系列

-》Seq2seq

-》Transfromer

-》Bert

模型压缩系列

压缩网络：MobileNet、SqueezeNet、ShuffleNet、Xception

知识蒸馏：Teacher-Student Net、Knowledge Distillation

神经网络剪枝：Fisher算法、Alpha-Beta 算法

---

6.聚类

K-Means K-均值

DBscan 密度聚类

EM算法（混合高斯模型 GMM）

Hierarchical 层次聚类

MeanShift 均值漂移

FCM 模糊C均值聚类

SOM 自组织神经网络

---

7.关联分析

Apriori算法

FP-growth算法

---

8.降维&稀疏

kNN K-近邻算法

LDA 线性判别分析

PCA 主成分分析

矩阵分解系列：

SVD 奇异值分解，QR分解，LU分解，LDLT分解

ICA 独立分量分析

PLSR 偏最小二乘回归

Sammon 映射

ISOMAP 等距特征映射

MDS 多维尺度变换

Projection Pursuit 投影寻踪

LLE 局部线性嵌入

SNE、t-SNE

*16.表示学习

词嵌入、图嵌入（知识图谱）：

Trans系列：

TransE、TransH、TransR、TransD、TransA、TransG

Word Embedding系列：

One-hot、Word2vec、glove、Elmo、GPT、Bert

---

9.贝叶斯&概率模型

NB 朴素贝叶斯

GMM 混合高斯模型

动态贝叶斯网络

HMM 隐马尔可夫模型（链）

MCMC 马尔科夫蒙特卡洛

MH算法

Gibbs采样

Kalman Filter 卡拉曼滤波

Particle Filter 粒子滤波

MRF 马尔科夫随机场

CRF 条件随机场

MDP 马尔科夫决策（贝尔曼方程）

LDA 主题模型（隐狄利克雷分布）

---

11.相关补充：

半/无监督学习、过/欠拟合（梯度下降、正则化、Dropout…）、假设空间-VC维、协同过滤-推荐算法；

规则学习-AQ系列算法 & 归纳学习-Prism系列算法、生成模型 -> 判别模型；

感知器、最大熵模型、RBF 径向基神经网络（伪逆法）、势函数、H-K算法；

香农熵、KL散度（相对熵）、JS散度、交叉熵、条件熵、信息增益、互信息；

近似推断、变分推断、变分贝叶斯推断；

领域延伸--》【统计学、矩阵论、信息论、拓扑学、群论、图论、博弈论、逻辑学、运筹学…】

---

*12.智能计算 & 优化算法：

推理算法（确定性&不确定性）、

搜索策略&路径规划（状态空间&启发式搜索、剪枝/回溯法、Dijkstra算法、A*算法）、

进化算法（遗传算法）、

群智算法（粒子群优化、蚁群算法）、

模拟退火算法

---

*13.强化学习

基于奖励机制的 遗传算法/

DQN算法-Deep Q-Learning/

DDPG算法

NAF算法

---

*14.迁移学习

TrSVM算法

TrAdaBoost算法

MTL多任务学习算法

（其中，BERT模型、Mask RCNN等深度模型都有迁移学习中多任务学习的影子）

*15.自主学习

AutoML

---

机器学习涉及的领域很广，其应用原理大多以以统计学为基石，数学为主要工具，算法为计算策略

什么是人工智能 机器学习 数据挖掘 深度学习？它们之间的关系是什么？这里说一点自己的理解

通俗来讲人工智能是 通过计算机程序与算法 来完成“在未知情况下难以分辨这个任务是机器完成的还是由真人完成的”任务

实际上，人工智能这个概念是一个很广泛的概念，真正的人工智能从业者多年来都基本围绕机器学习的内容展开的

而作为人工智能基石的机器学习仍然是一个很庞大的领域，它本质上是数据科学。例如，从数据中获取知识（数据挖掘），从知识中生成数据 分别对应机器学习中的 判别式 和 生成式

在已有的数据中搜索 需要的/最想要的 数据 -》 启发式

通过状态-决策-环境的奖励反馈机制 -》 强化学习

根据已有 知识/数据 进行举一反三的推广和引申 -》 迁移学习

大多数情况下，机器学习都是对数据的分析与特征提取 形成知识，然而知识与数据之间没有一个确定的分界线，两者之间也可以相互转化 ，如果通过对知识的建模，即将知识视为数据 又产生了如 知识图谱、动态网络、图模型 这种更复杂的体系

深度学习 与 机器学习 的关系？

深度学习 最初只是 机器学习中连接主义【感知机与人工神经网络】分支发展而来，近几年来大火的深度学习完全得益于 计算力的提升，计算资源越来越廉价，数据量的爆炸式增长，使得很多复杂的问题在神经网络这种黑盒模型上能够取得极佳的效果。由于神经网络是一种黑盒模型，其庞大的数据量以及复杂而多样的模型调优过程 又产生了一系列的算法。

虽然深度学习一直被学术界工业界广泛推崇，但是从目前技术发展情况来看，绝对不能忽视传统机器学习、传统图像处理和信号处理方法的重要性，甚至应该要在传统方法的基础上再使用深度学习方法去研发更鲁棒，更精确和高效的模型。