机器学习整理

一、什么是机器学习

1.1 机器学习的发展历史与背景

1.1.1 人工智能与机器学习

机器学习是一种通过先验信息来提升模型能力的方式。具体地说，对于给定的任务和性能度量标准，使用先验信息，通过某种计算方式改进初始模型，获得一个性能更好的改进模型。

1.1.2 机器学习的发展历程

1.1.2.1 感知机与连接学习

1.1.2.2 符号学习与统计学习

1.1.2.3 机器学习与其他领域的关系

1.2 机器学习的基本概念

1.2.1 必要性

1.2.2 定义

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据中产生“模型”，用于对新的情况给出判断

1.2.3 典型机器学习过程

1.2.4 基本术语

1.2.4.1 数据

1.2.4.2 任务

1.2.4.2.1 回归

输出为连续值
如瓜的成熟度

1.2.4.2.2 分类

输出为离散值
二分类：好瓜、坏瓜
多分类：南瓜、西瓜、冬瓜

1.2.4.2.3 聚类

无标记信息
如根据瓜的外观分成两部分

1.2.4.3 常见类型

1.2.4.3.1 监督学习

有标记信息：分类、回归

1.2.4.3.2 无监督学习

无标记信息：聚类、降维

1.2.4.3.3 强化学习

环境的反馈：马尔科夫决策过程

1.2.4.4 泛化能力

机器学习的目标是使得学到的模型能很好的适用于“新样本”,而不仅仅是训练集合，我们称模型适用于新样本的能力为泛化(generalization)能力

1.2.4.5 假设空间

对于一个具体的回归或分类任务，所有可能的模型输入数据组成的集合称为输入空间，所有可能的模型输出数据构成的集合称为输出空间
回归或分类机器学习任务的本质就是寻找一个从输入空间到输出空间的映射，并将该映射作为预测模型
从输入空间到输出空间的所有可能映射组成的集合称为假设空间

1.2.4.6 模型偏好

1.2.4.7 误差与损失函数

机器学习模型的输出结果与其对应的真实值之间往往会存在一定的差异，这种差异被称为模型的输出误差，简称为误差

1.2.4.8 泛化误差与经验风险

1.2.4.9 参数学习

1.2.4.10 测试误差

1.2.4.11 过拟合与欠拟合

过拟合是同时拟合训练样本的共性特征和个性特征（噪声）
欠拟合是未能充分拟合训练样本共性特征造成模型泛化误差较大而导致模型泛化能力较弱

1.2.4.12 偏差与方差

1.2.5 机器学习三要素

1.2.5.1 模型

感知机、朴素贝叶斯模型、支持向量机、决策树、随机森林…
线性回归、逻辑回归、Softmax回归…
神经网络…

1.2.5.2 学习准则

经验风险最小化
损失函数

1.2.5.3 优化算法

梯度下降法
反向传播算法
动态规划算法
…

二、机器如何学习

2.1 有监督学习

2.1.1 感知机

2.1.1.1 背景

–输入为实例的特征向量，输出为实例的类别，取+1和-1
–感知机对应于输入空间中将实例划分为正负两类的分离 超平面
–导入基于误分类的损失函数 –利用梯度下降法对损失函数进行极小化
–感知机学习算法具有简单而易于实现的优点
–1957年由Rosenblatt提出，是神经网络与支持向量机的 基础

2.1.1.2 感知机模型

2.1.1.2.1 数轴上的分类

2.1.1.2.2 平面上的分类

2.1.1.2.3 高维空间上的分类

2.1.1.2.4 感知机定义

2.1.1.2.5 感知机的几何解释

2.1.1.3 学习策略

2.1.1.4 学习算法

2.1.1.5 存在问题

2.1.2 支持向量机

2.1.3 回归模型

2.1.4 神经网络与深度学习

2.1.5 贝叶斯分类器

2.1.6 决策树

2.1.7 集成学习

2.2 无监督学习

2.2.1 聚类

2.2.2 降维

2.3 强化学习

三、如何让机器学习的更好数据问题

3.1 评测问题

3.2 模型问题

3.3 算法问题

四、为什么机器能学习

4.1 计算机学习理论