一定要知道的机器学习算法

机器学习是一个有难度但是未来充满可能性的发展方向，接下来我会介绍一下基本的机器学习算法，并说一下博主自己的感受。

文章目录

• 机器学习算法

• （朴素贝叶斯）
• （Longistic Regression）
• （线性回归）
• （KNN）
• （决策树）
• (Adaboosting)
• (人工神经网络)
• （K-Meams聚类)

• 博主自己的感受

---

前言

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。

---

提示：以下是本篇文章正文内容。

一、机器学习算法

朴素贝叶斯.

• 朴素贝叶斯属于生成式模型（关于生成模型和判别式模型，主要还是在于是否需要求联合分布），比较简单，你只需做一堆计数即可。如果注有条件独立性假设（一个比较严格的条件），朴素贝叶斯分类器的收敛速度将快于判别模型，比如逻辑回归，所以你只需要较少的训练数据即可。

• 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。

• 对大数量训练和查询时具有较高的速度。即使使用超大规模的训练集，针对每个项目通常也只会有相对较少的特征数，并且对项目的训练和分类也仅仅是特征概率的数学运算而已。

• 朴素贝叶斯应用领域

• 欺诈检测中使用较多（如熊猫吃短信）。

• 一封电子邮件是否是垃圾邮件。

• 一篇文章应该分到科技、政治，还是体育类（最早的网飞电影推荐）。

• 人脸识别，OCR文字识别。

  ---

Logistic Regression（逻辑回归）

• 逻辑回归属于判别式模型，同时伴有很多模型正则化的方法（L0， L1，L2，etc），而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比，你还会得到一个不错的概率解释，你甚至可以轻松地利用新数据来更新模型（使用在线梯度下降算法-online gradient descent）。如果你需要一个概率架构（比如，简单地调节分类阈值，指明不确定性，或者是要获得置信区间），或者你希望以后将更多的训练数据快速整合到模型中去，那么使用它吧。

• logistic回归应用领域：

• 用于二分类领域，可以得出概率值，适用于根据分类概率排名的领域，如搜索排名等。

• Logistic回归的扩展softmax可以应用于多分类领域，如手写字识别等。

• 信用评估。

• 测量市场营销的成功度。

• 预测某个产品的收益。

  ---

  线性回归

• 线性回归是用于回归的，它不像Logistic回归那样用于分类，其基本思想是用「梯度下降法」对最小二乘法形式的误差函数进行优化。实现简单，计算简单但是不能拟合非线性数据。

  ---

  最近邻算法——KNN

• 选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响，但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。近邻算法具有较强的一致性结果，随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

• KNN算法应用领域

  文本分类、模式识别、聚类分析，多分类领域

  ---

  决策树

• 决策树的一大优势就是易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。

  它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树boosted tree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。

• 应用领域

  企业管理实践，企业投资决策，由于决策树很好的分析能力，在决策过程应用较多。

---

      Adaboosting

• Adaboost是一种加和模型，每个模型都是基于上一次模型的错误率来建立的，过分关注分错的样本，而对正确分类的样本减少关注度，逐次迭代之后，可以得到一个相对较好的模型。该算法是一种典型的boosting算法，其加和理论的优势可以使用Hoeffding不等式得以解释。

• 可以使用各种方法构建子分类器，Adaboost算法提供的是框架。

• 当使用简单分类器时，计算出的结果是可以理解的，并且弱分类器的构造极其简单。

  ---

  人工神经网络

• 分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力；具备联想记忆的功能，能充分逼近复杂的非线性关系；

• 人工神经网络应用领域：

  目前深度神经网络已经应用与计算机视觉，自然语言处理，语音识别等领域并取得很好的效果。

  ---

  K-Means聚类

• 是一个简单的聚类算法，把n的对象根据他们的属性分为k个分割，k< n。算法的核心就是要优化失真函数J,使其收敛到局部最小值但不是全局最小值。

• 对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt)，其中n是所有对象的数目，k是簇的数目,t是迭代的次数。通常k<「通常局部收敛」。

• 算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，且簇与簇之间区别明显时，聚类效果较好。

  ---

二、博主感受

1.机器学习是一个基于底层逻辑和大量数学模型的领域，是研究怎样使用计算机模拟或实现人类学习活动的科学，是人工智能中最具智能特征，最前沿的研究领域之一。

2.、光学文字识别、自然语言处理、语音识别、手写识别、生物特征识别、文件分类、搜索引擎等，而这些领域也正是机器学习大展身手的舞台。

3.机器学习我的目的是让大家了解这个概念，我同时也相信未来的它发展空间巨大。

---

总结

1. Machine Learning - 常见算法优缺点

2. Selecting the best Machine Learning algorithm for your regression problem