个人整理的机器学习/数据挖掘相关算法

1. 梯度下降法、牛顿法

2. 最大似然估计法

3 . 最小二乘法

4. 线性回归（基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化）

5. K最近邻分类算法（KNN）

6. 决策树（ID3、C4.5算法、迭代决策树（GBRT）、随机森林）

7. 朴素贝叶斯(Naive Bayesian Model)

8. Logistic回归

9. 支持向量机（SVM）

10. 序列最小优化算法（SMO）

11. Boosting算法（Adaboost算法为例）

12. 分类树与回归树（CART）

13. 最大期望算法（EM）

 

14. Apriori算法

15.FP-growth算法

16. PageRank算法

17. 降维算法：主成分分析(PCA)、多维尺度(MDS)、线性判别式分析(LDA)、局部线性嵌入(LLE)、

                       拉普拉斯特征映射(Laplacian Eigenmaps)

18. 矩阵奇异值分解（SVD）

    

19. 隐含语义分析（LSA）

  

20. 概率潜语义分析（PLSA）

     

22. 规则化（Regularization)

23. 异常检测

 

24. 聚类（基于划分的聚类：K-Means , K-Medoids，Clarans    

                基于层次的聚类：自底向上的凝聚方法（AGNES）， 自上而下的分裂方法（DIANA）  

                基于密度的聚类：DBSACN，OPTICS，BIRCH（CF-Tree）, CURE 

                基于网格的方法：STING，WaveCluster   

                基于模型的聚类：EM，SOM，COBWEB）

    

25. 推荐系统（基于内容的实现；基于协同过滤（CF）的实现）

26. 深度学习（Deep Learning）常见算法：受限波尔兹曼机(RBN)、深度信念网络(DBN)、

                                                                     卷积神经网络(CNN)、堆栈式自动编码器(Stacked Auto-encoders)