【浙江大学机器学习胡浩基】01 引言

目录

第一节 机器学习的定义

第二节 机器学习的分类

机器学习的分类

监督学习的分类

第三节 机器学习算法的过程

第四节 没有免费午餐定理

---

• 第一节 机器学习的定义

• ARTHUR SAMUEL的定义

Machine Learning is fields of study that gives computers the ability to learn without being explicitly programmed.

机器学习是这样的一个领域，它赋予计算机学习的能力，（这种学习能力）不是通过显著式编程获得的。

• Tom Mitshell的定义

A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.

一个计算机程序被称为可以学习，是指它能够针对某个任务T和某个性能指标P，从经验E中学习。这种学习的特点是，它在T上的被P所衡量的性能，会随着经验E的增加而提高。

---

• 第二节 机器学习的分类

• 机器学习的分类

按照任务是否需要和环境交互获得经验，将机器学习分为监督学习和强化学习

• 所有的经验E都是人工采集并输入计算机的，我们将这一类输入计算机训练的数据，并且同时加上标签的机器学习，称为监督学习(Supervised Learning)
• 若经验E是由计算机和环境互动获得的，这一类机器学习的任务称为强化学习(Reinforcement Learning)，即让计算机通过与环境的互动逐渐强化自己的行为模式

• 监督学习的分类

1.监督学习可以根据数据标签存在与否进行分类：

• 传统的监督学习（Traditional Supervised Learning） 每一个训练数据都有对应的标签

支持向量机（SUPPORT VECTOR MACHINE）

人工神经网络（NEURAL NETWORKS）

深度神经网络（Deep Neural Networks）

• 非监督学习（Unsupervised Learning） 所有的训练数据都没有对应的标签

聚类（Clustering）

EM算法（Expectation-Maximization algorithm）

主成成分分析（Principle Component Analysis）

• 半监督学习（Semi-supervised Learning） 训练数据中一部分有标签，一部分没有标签

2.监督学习可以基于标签的固有属性进行分类：

• 标签是离散的值，我们称为分类  例如：人脸识别
• 标签是连续的值，我们称为回归  例如：预测股票价格

---

• 第三节 机器学习算法的过程

• 第一步 提取特征（Feature Extraction）
• 第二步 特征选择（Feature Selection）
• 第三步 基于特征构建算法
• 第四步 比较不同算法的优劣 选择最优算法

---

• 第四节 没有免费午餐定理

概念

任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好。如果不对训练样本在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。没有任何情况下都最好的机器学习算法。