机器学习算法一览

回归

• 普通最小二乘回归
• 线性回归
• 对数几率回归
• 逐步回归
• 多元自适应回归样条法
• 局部散点平滑估计
• Jackknife回归

贝叶斯

• 朴素贝叶斯
• 高斯朴素贝叶斯
• 多项式朴素贝叶斯
• 平均单依赖分类器
• 贝叶斯信念网络
• 贝叶斯网络
• 隐马尔科夫模型
• 条件随机场

正则化

• 岭回归
• 最小绝对收缩选择算子(LASSO)
• 弹性网络
• 最小角回归

决策树

• 分类回归树(CART)
• 迭代二叉树3代(ID3)
• C4.5和C5.0
• 卡方自动交互检测
• 单层决策树
• M5 模型
• 条件决策树

基于实例的方法

• K最近邻(KNN)
• 学习矢量量化(LVQ)
• 自组织映射(SOM)
• 局部加权学习(LWL)

降维方法

• 主成分分析(PCA)
• 主成分回归(PCR)
• 偏最小二乘回归
• Sammon Mapping
• 多维尺度(MDS)
• 投影寻踪
• 判别分析(LDA,MDA,QDA,FDA)

聚类方法

• 单连锁聚类
• K均值算法
• K中值算法
• 期望最大值算法(EM)
• 层次聚类
• 模糊聚类
• DBSCAN 算法
• OPTICS 算法
• 非负矩阵分解算法
• 隐狄利克雷分布(LDA)

深度学习

• 深度玻尔兹曼机(DBM)
• 深度信念网络(DBN)
• 卷积神经网络
• 堆栈式自动编码器

神经网络

• 自组织映射
• 感知机
• 反向传播算法
• 霍普菲尔德神经网络
• 径向基函数网络(RBFN)
• 反传算法
• 自编码器
• 霍普菲尔德神经网络组
• 玻尔兹曼机
• 受限玻尔兹曼机
• Spiking 神经网络
• 学习矢量量化

关联规则学习

• Apriori 算法
• Eclat 算法
• FP-Growth

集成方法

• Boosting
• Bootstrapped Aggregation
• AdaBoost
• 堆栈泛化 Stacked Generation
• GBM
• GBRT
• Random Forest
• 条件随机场(CRFs)