机器学习中的一些常用概念

概率方面的知识

1. 极大似然估计
2. EM算法感性认知
3. EM算法，可能还是不太好理解，这个算法就是比较难。简单来说EM算法就是通过先假设模型参数，然后算出概率，再根据概率用极大似然估计优化模型参数，重复上述步骤，直到收敛。
4. 先验概率和后验概率
5. 先验分布、后验分布、似然函数
6. 核密度估计，用来估计未知的密度函数，属于非参数检验方法之一

优化算法

1. 优化算法合集
2. 禁忌搜索
3. 遗传算法

数据集

1. SMOTE算法，过采样，处理不平衡数据
2. 数据增强，基于现有数据，生成一些新数据

特征工程

1. PCA
2. KPCA
3. relief及reliefF算法，特征选择
4. 用遗传算法做特征选择

聚类

1. DBSCAN
2. K-means及一些变种、Canopy聚类算法

算法 / 模型

1. CNN，注意不要用Chrome浏览器打开，因为可能图片无法加载。
2. 生成对抗网络（GAN）、生成对抗网络pytorch
3. RNN
4. 自编码器
5. 变分自编码器1，变分自编码器2是个生成模型
6. 随机森林
7. 梯度提升树1，梯度提升树2
8. XGBoost1，XGBoost2
9. 磷虾群算法（KH算法）
10. 特征递归消除（RFE） 、RFECV（交叉验证的特征递归消除）
11. SVM-RFE
12. 交叉验证
13. 贝叶斯网络1、贝叶斯网络2
14. 多层感知机，其实就是人工神经网络
15. 极限学习机
16. stacking集成学习