8.2 机器学习算法

1. 机器学习算法汇总

• ①回归模型(用于预测)：最小二乘法、逻辑回归、逐步回归、多元自适应样条法、本地权重评估、
• ②正则化模型(提升泛化)：岭回归、LASSO回归、弹性网、最小角回归、
• ③决策树模型(分类和预测)：CART树、ID3算法树、C4.5算法树、卡方自动交叉效验树、M5算法树、
• ④集成模型(提升准确度)：Boosting、Bagging装袋算法、层叠泛化算法、梯度提升机算法、梯度提升回归树算法、随机森林、
• ⑤聚类模型(聚类分析)：K-Means、最大期望法、
• ⑥判别模型(判别新样本的类属)：KNN、学习向量量化算法、自组织映射法、本地权重学习法、
• ⑦支持向量机(高维计算)：SVM、特征空间的映射、核函数、凸优化理论、拉格朗日乘子法、
• ⑧贝叶斯模型(自动推理)：朴素贝叶斯分类器、贝叶斯信念网络、
• ⑨降维模型(数据降维)：主成分分析、
• ⑩关联规则模型(找数据关联)：先验算法、
• 图模型(图形建模)：贝叶斯网络、马尔科夫随机域、链图、祖先图、
• 人工神经网络(模拟人神经元)：BP神经网络、
• 深度学习：深玻儿兹曼机、深信念网络、

2. 算法分类

主要为两类：监督学习算法和无监督学习算法(衍生模式：半监督学习、主动学习)；

• 监督学习算法(推断功能)：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程；
• 无监督学习算法(聚类)：根据类别未知没有被标记的训练样本解决模式识别中的各种问题；
• 半监督学习(训练和分类)：利用少量的标注样本和大量未标注样本进行训练和分类；
• 主动学习(人为标注)：筛选数据使请求标注的次数尽量少而结果尽量好；