1.统计学习的定义、研究对象和方法
2.监督学习
3.统计学习方法三要素：模型、策略和算法
4.模型选择：正则化、交叉验证和学习的泛化能力
5.生成模型与判别模型
6.监督学习方法的应用：分类问题、标注问题与回归问题
1.1统计学习
1.统计学习的特点
统计学习：计算机基于数据构建概率统计模型，并运用模型对数据进行预测与分析
主要特点：①建立在计算机及网络之上；②以数据为研究对象，是数据驱动的学科；③目的是对数据进行预测与分析；④以方法为中心；是概率论、统计学、信息论、计算理论、最优化理论、及计算机科学等多个领域的交叉学科
2.统计学习的对象：数据
前提：同类数据具有一定的统计规律性
3.统计学习的目的：对数据进行分析和预测
目标：考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确地预测与分析，同时也要考虑尽可能的提高学习效率
4.统计学习的方法
组成：监督学习、非监督学习、半监督学习、强化学习
三要素：模型、策略和算法
步骤：①得到一个有限的训练数据集合；②确定学习模型的集合；③确定学习策略；④实现学习的算法；⑤通过学习方法选择最优模型；⑥利用学习的最优模型对新数据进行预测与分析
5.统计学习的研究
统计学习方法：开发新的学习方法
统计学习理论：探求统计学习方法的有效性与效率，以及统计学习的基本理论问题
统计学习应用：将统计学习方法应用到实际问题中，解决实际问题
6.统计学习的重要性
①是处理海量数据的有效方法；②是计算机智能化的有效手段；③是计算机科学发展的一个重要组成部分
1.2监督学习
1.2.1基本概念
1.输入空间、特征空间与输出空间
输入向量：
训练集：
回归问题：输入变量和输出变量均为连续变量的预测问题
分类问题：输出变量为有限个离散变量的预测问题
标注问题：输入变量和输出变量均为变量序列的预测问题
2.联合概率分布
监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)
3.假设空间
由输入空间到输出空间的映射的集合
1.2.2问题的形式化
监督学习分为学习和预测两个部分
在监督学习中，假设训练数据和测试数据是依联合概率分布P(X,Y)独立同分布产生的
1.3统计学习三要素
方法=模型+策略+算法
1.3.1模型
监督学习中，模型就是所要学习的条件概率分布或决策函数
模型的假设空间包含所有可能的条件概率分布或决策函数
1.3.2策略
损失函数：度量模型一次预测的好坏
风险函数：度量平均意义下模型预测的好坏
1.损失函数和风险函数
损失函数是f(X)和Y的非负实值函数，记作L(Y,f(X))
损失函数的期望：模型f(X)关于联合分布P(X,Y)的平均意义下的损失，成为风险函数或期望损失
经验风险：模型f(X)关于训练数据集的平均损失，成为经验风险或经验损失
2.经验风险最小化和结构风险最小化
经验风险最小化（empirical risk minimization,ERM）：经验风险最小的模型是最优模型
样本容量足够大时，ERM效果很好；当模型是条件概率分布，损失函数是对数损失函数时ERM等价于极大似然估计
样本容量小的时候会产生过拟合
结构风险最小化（structural risk minimization,SRM）：为了防止过拟合
结构风险最小化等价于正则化
J(f)：模型复杂度，复杂度表示了对复杂模型的惩罚
λ≥0：系数，用以权衡经验风险和模型复杂度
结构风险小需要经验风险与模型复杂度同时小，结构风险小的模型往往对训练数据以及未知测试数据都有较好的预测；当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示是，SRM等价于贝叶斯估计中的最大后验概率估计(MAP)
1.3.3算法
求解最优化问题的算法
1.4模型评估与模型选择
1.4.1训练误差与测试误差
测试误差小的方法具有更好地预测能力，通常将学习方法对未知数据的预测能力成为泛化能力
1.4.2过拟合与模型选择
当模型复杂度增大，训练误差会逐渐减小并趋近于0；而测试误差会先减小后增大
常用的模型选择方法：正则化与交叉验证
1.5正则化与交叉验证
1.5.1正则化
正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值越大
正则化的作用：选择经验风险与模型复杂度同时较小的模型
1.5.2交叉验证
数据充足：训练集、验证集、测试集
数据不足：交叉验证，重复地使用数据
1.简单交叉验证
分为训练集、测试集；训练集在各种条件下训练模型；在测试集上评价各个模型的测试误差
2.S折交叉验证
随机的将数据切分为S个大小相同的子集；利用S-1个子集的数据训练模型，余下的子集测试模型；S种可能重复进行；选出S次评测中平均测试误差最小的模型
3.留一交叉验证
S折交叉验证的特殊情形，S=N，N是数据集的容量，往往在数据缺乏的情况下使用
1.6泛化能力
1.6.1泛化误差
1.6.2泛化误差上界
性质：
它是样本容量的函数，当样本容量增加时，泛化上界趋于0；
它是假设空间容量的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大
1.7生成模型与判别模型
监督学习方法：生成方法、判别方法
生成方法：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(X|Y)作为预测的模型，即生成模型。模型表示了给定输入X产生输出Y的生成关系。朴素贝叶斯法、隐马尔可夫模型。
判别方法：由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测模型，即判别模型。判别方法关心对于给定输入X，应该预测什么样的输出Y。k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场。
生成方法特点：可以还原出联合概率分布P(X,Y)；收敛速度快；存在隐变量时可用
判别方法特点：准确率高；直接学习条件概率P(Y|X)或决策函数f(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，可以简化学习问题
1.8分类问题
学习：根据已知的训练数据集，利用有效的学习方法学习一个分类器
分类：利用学习的分类器对新的输入实例进行分类
分类准确率(accuracy)：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比
二分类：精确率(precision)、召回率(recall)
可用于分类的机器学习方法：k近邻、感知机、朴素贝叶斯、决策树、决策列表、逻辑斯蒂回归模型、支持向量机、提升方法、贝叶斯网络、神经网络、Winnow
1.9标注问题
输入：观测序列
输出：标记序列或状态序列
标注问题的目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测
常用方法：隐马尔可夫模型、条件随机场
1.10回归问题
预测输入变量和输出变量之间的关系
回归问题的学习等价于函数拟合
按输入变量个数，分为一元回归和多元回归
按模型类型，分为线性回归和非线性回归
常用损失函数：平方损失函数