机器学习理论基础

定义

(1)机器学习是这样一个领域，它赋予计算机学习的能力，(这种学习能力)不是通过显著式编程获得的。

注：显著式编程是需要人为地根据周围的环境、规则、经验等给计算机规定一些机械化步骤或判断依据，例如识别菊花和玫瑰，显著式编程就需要人为规定黄色的是菊花，红色的是玫瑰。而非显著式编程无需人为给出所有的步骤和约束计算机必须总结什么规律，只需要定义收益函数，计算机会通过与环境的互动总结经验、调整策略，从而实现最大化收益(最优策略)。因此，非显著编程更加灵活，适用范围更广。

(2)一个计算机程序被称为可以学习，是指她能够针对某个任务T和某个性能指标P，从经验E中学习。这种学习的特点是，它在T上的被P所衡量的性能，会随着经验E的增加而提高。

注：还是以识别菊花和玫瑰为例，任务T指的是编写一个计算机程序来识别菊花和玫瑰、经验E指的是海量的菊花和玫瑰的图片(称之为“训练样本”)、性能指标P指的是识别率(识别结果的正确率)，这种算法的特点就是随着图片(经验/训练样本)的增加，识别率(性能指标)也会越来越高。

种类

监督学习(Supervised Learning)

所有的经验都是人为搜集起来并输入计算机的，最终为训练数据打上标签或者进行预测。例如识别垃圾邮件、人脸识别、图像识别、天气预测、污染物浓度预测等。

注：若我们欲预测的是离散值，例如“垃圾邮件”和“正常邮件”，此类学习任务称为“分类”；若欲预测的是连续值，例如污染物浓度1.5%,4.8%，此类学习任务称为“回归”。但其实离散和连续的定义还是比较模糊的所以很多时候我们离散的算法转换一下也能很好的解决一些连续问题。

传统的监督学习（Traditional Supervised Learning）

每一个训练数据都有对应的标签

传统的监督学习包括支持向量机SVM(Support Vector Machine)、人工神经网络、深度神经网络DNN(Deep Neutral Network)

非监督学习(Unsupervised Learning)

只有特征，但是没有标签，即给定数据，‘寻找隐藏/潜在的结构和信息，进行分类。例如聚类、社交网络分析、群体分类。

注：无监督学习算法包括聚类、EM算法、主成分分析

半监督学习(Semi-supervised Learning)

由于标注数据是成本巨大的工程，因此，利用少量标注的数据和大量未标注的数据一起训练出一个更好的机器学习方法，即半监督学习算法，是一种趋势。

强化学习(Reinforcement Learning)

计算机通过与环境的互动，逐渐强化自己的行为模式，从而实现最大化收益的学习过程称为强化学习。

小结

重：日常的话是把传统的监督学习直接就称为监督学习，所以平时都是说监督学习有标签，非监督学习无标签。我刚开始一直纠结在这个定义上，觉得监督学习为什么包含非监督学习明明定义都是相违背的，但是我们平时的监督学习其实就是传统的监督学习，解决了这个问题一下就柳暗花明了。
明白了平时我们说的监督学习就是传统的监督学习后如果还不明白可以看看这篇文章通过例子再了解一下。

机器学习算法的过程

我们研究不同应用场景下应该采取哪种算法，以及研究创造新的机器学习算法以便适应新的场景，这是机器学习领域内重要的理论问题。

没有免费午餐定理

再好的算法也存在犯错的风险，因为我们并不知道未知样本到底在那里以及他的性质到底如何。