深入浅出学AI：第二章 机器学习一览

一、按照算法类型分类

1.回归算法(Regression)

    线性回归(Linear Regression or SGD Regression)

    逻辑回归(Logistic Regression)

2.聚类算法(Clustering Algorithms)

    K均值算法(KMeans)

3.基于实例的算法（Instance-based Algorithms）

    K近邻算法(KNN, K Nearest Neighbor)

4.正则化算法(Regularization Algorithms)

    Lasso回归(Lasso Regression)

    岭回归(Ridge Regression)

    弹性网络(ElasticNet)等

    通常，正则化算法(Regularization Algorithms)是对回归方法进行拓展，用于处理过拟合问题，这种方法会基于模型复杂性对其进行惩罚，它喜欢相对简单能够更好的泛化的模型。如Lasso回归、岭回归和弹性网络就用到这个算法思想。

5.基于核的算法

    支撑向量机(SVM, Support Vector Machines)

6.决策树(Decision Tree Algorithm)

    分类和回归树（Classification and Regression Tree，CART）

7.降维算法(Dimensionality Reduction Algorithms)

    主成分分析(PCA, Principle Component Analysis)

8.贝叶斯算法(Bayes Algorithms)

    朴素贝叶斯（Naive Bayes）

    高斯朴素贝叶斯（Gaussian Naive Bayes）

    隐马尔可夫模型

9.人工神经网络(Artificial Neural Network)

    人工神经网络是受生物神经网络启发而构建的算法模型。它是一种模式匹配，常被用于回归和分类问题，但拥有庞大的子域，由数百种算法和各类问题的变体组成。

    反向传递（Back Propagation）

10.深度学习(Deep Learning)

    深度学习就是多层的神经网络，主要包括如下算法：

    卷积神经网络(CNN)

    递归神经网络(RNN)

    长期短期记忆网络(LSTM)，

    生成敌对网络(GAN)

    转移学习

    注意模型（attention model）

11.集成算法(Ensemble Algorithms)

    集成方法是由多个较弱的模型集成模型组，其中的模型可以单独进行训练，并且它们的预测能以某种方式结合起来去做出一个总体预测。主要有如下算法：

    Boosting：梯度提升树(GBDT)

    AdaBoost

    随机森林（Random Forest）

12.其他算法

    关联规则学习算法(Association Rule Learning Algorithms)

    遗传算法（genetic algorithm）

    图模型（Graphical Models）

AI算法一览（来自网络）

二、算法选择图示

机器学习算法选择图示（来自Scikit-learn）

三、总结

随机森林平均来说最强，SVM的平均水平紧随其后，神经网络和boosting表现不错。

数据维度越高，随机森林就比AdaBoost强越多，但是整体不及SVM。

数据量越大，神经网络就越强。