【机器学习】-机器学习入门概述

#### 1、什么是机器学习   机器学习是人工智能的一个分支，它是一门研究机器获取新知识和新技能，并识别现有知识的学问。机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA 序列测序、语音和手写识别、战略游戏和机器人等领域。 #### 2、主要算法 ###### 按学习的方式来划分，机器学习主要包括： * **监督学习**： 输入数据带有标签。监督学习建立一个学习过程，将预测结果与 “训练数据”（即输入数据）的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率，比如分类和回归问题等。常用算法包括决策树、贝叶斯分类、最小二乘回归、逻辑回归、支持向量机、神经网络等。 * **非监督学习**： 输入数据没有标签，而是通过算法来推断数据的内在联系，比如聚类和关联规则学习等。常用算法包括独立成分分析、K-Means 和 Apriori 算法等。 * **半监督学习**： 输入数据部分标签，是监督学习的延伸，常用于分类和回归。常用算法包括图论推理算法、拉普拉斯支持向量机等。 * **强化学习**： 输入数据作为对模型的反馈，强调如何基于环境而行动，以取得最大化的预期利益。与监督式学习之间的区别在于，它并不需要出现正确的输入 / 输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。 ###### 按照功能来划分，机器学习主要包括： * **回归算法**： * 线性回归 * 逻辑回归 * 多元自适应回归（MARS） * 本地散点平滑估计（LOESS） * **基于实例的学习算法**： * K - 邻近算法（kNN） * 学习矢量化（LVQ） * 自组织映射算法（SOM） * 局部加权学习算法（LWL） * **正则化算法**： * 岭回归（Ridge Regression） * LASSO（Least Absolute Shrinkage and Selection Operator） * Elastic Net * 最小角回归（LARS） * **决策树算法**： * 分类和回归树（CART） * ID3 算法 (Iterative Dichotomiser 3) * C4.5 和 C5.0 * CHAID（Chi-squared Automatic Interaction Detection(） * 随机森林（Random Forest） * 多元自适应回归样条（MARS） * 梯度推进机（Gradient Boosting Machine， GBM） * **贝叶斯算法**： * 朴素贝叶斯 * 高斯朴素贝叶斯 * 多项式朴素贝叶斯 * AODE（Averaged One-Dependence Estimators） * 贝叶斯网络（Bayesian Belief Network） * **基于核的算法**： * 支持向量机（SVM） * 径向基函数（Radial Basis Function ，RBF) * 线性判别分析（Linear Discriminate Analysis ，LDA) * **聚类算法**： * K - 均值 * K - 中位数 * EM 算法 * 分层聚类 * **关联规则学习**： * Apriori 算法 * Eclat 算法 * **神经网络**： * 感知器 * 反向传播算法（BP） * Hopfield 网络 * 径向基函数网络（RBFN） * **深度学习**： * 深度玻尔兹曼机（DBM） * 卷积神经网络（CNN） * 递归神经网络（RNN、LSTM） * 栈式自编码算法（Stacked Auto-Encoder） * **降维算法**： * 主成分分析法（PCA） * 主成分回归（PCR） * 偏最小二乘回归（PLSR） * 萨蒙映射 * 多维尺度分析法（MDS） * 投影寻踪法（PP） * 线性判别分析法（LDA） * 混合判别分析法（MDA） * 二次判别分析法（QDA） * 灵活判别分析法（Flexible Discriminant Analysis，FDA * **集成算法**： * Boosting * Bagging * AdaBoost * 堆叠泛化（混合） * GBM 算法 * GBRT 算法 * 随机森林 * **其他算法**： * 特征选择算法 * 性能评估算法 * 自然语言处理 * 计算机视觉 * 推荐系统 * 强化学习 * 迁移学习 #### 3、参考材料： [机器学习笔记](https://feisky.xyz/machine-learning/ "机器学习笔记") http://machinelearningmastery.com/a-tour-of-machine-learning-algorithms/