机器学习算法概览

机器学习/深度学习算法概览

 

一、无监督学习

聚类算法

基于划分的聚类：KMeans、KMedoids、intelligent k-means

基于密度的聚类：DBSCAN、OPTICS、密度最大值聚类算法（MDCA）

层次聚类算法：BIRCH算法、Diana、Agnes、CAMELEON

基于网络的方法：STING（Statistical Information Grid）算法、WAVE-CLUSTER算法、CLIQUE（CLustring in Quest）

基于模型的方法：GMM、SOM（self Organized Maps）

基于模糊的聚类（FCM模糊聚类）：FCM

谱聚类：CLARA（CLustering LARge Applications）

孤立森林算法

社区发现算法

LPA（标签广播算法）

SLPA：引入Listener Speaker

关联规则算法

Apriori算法：支持度、置信度

FP-growth算法：Fp-Tree频繁模式树，条件模式集

prefixson算法

PCA主成分分析算法（PCA数据处理流程）

1、去中心化

2、特征值分解

3、获取特征值和特征向量

二、有监督学习

回归：连续属性预测

Liner Regression

Arima：滑动平均，假设真实值=预测值+误差，核心思想先通过差分去除周期变化性，然后分别使用滑动平均你和预测值和误差，进行翻新操作，从而得到真实值。 主要应用与时序数据分析。

分类：离散属性预测

KNN   基于距离的类别判别方法

Naive Bayes    是贝叶斯网络的基础，概率图模型分析的基础

LR：模型可以理解为对于不同属性的加权求和，然后在通过判别函数进行分类。由于LR涉及到数值计算，因此在进行分析时，对于连续属性的数据分析预测的效果较离散属性更好。

SVM

DT：ID3、C4.5、CART

embedding：

Bagging：Random Forest

Boosting：AdbBoost（权重在样本）、GBDT（权重在分类器）、xgboost（权重在叶子节）、LightGBM

处理类不平衡问题：调整样本权重、优化损失函数、过采样、采用深度学习中的对抗学习

三、半监督学习

生成模型算法

自训练算法

联合训练

半监督支持向量机

基于图论的方法

四、强化学习

马尔可夫决策过程（Markov Decision Processes，MDPS）

 

四、深度学习

概率图模型

有向图：贝叶斯网络（信念网络）、HMM

无向图：MRF、MEMM、CRF

神经网络模型