统计学习方法·笔记·第一章·泛化能力

泛化能力（generalization ability）

指模型对未知数据的预测能力。从理论上对泛化能力进行分析。
如果学到的模型是$\hat{f}$ ，那么用这个模型对未知数据测得的误差即为泛化误差（generalization error）：
$$R_{exp}=E_P[L(Y,\hat{f}(X))]={\int }_{x\cdot y}L(y,\hat{f}\left(x\right))P(x,y)dxdy$$
泛化误差也就是所学习到模型的期望风险。

泛化误差上界（generalization error bound）

定理（泛化误差上界）：对二分类问题，当假设空间是有限个函数的集合$F=f_1,f_2,...,f_d$时，对任意一个函数$fϵF$,至少依概率$1-\sigma ,0<\sigma <1$,以下不等式成立：
$$R(f)⩽\widehat{R(f)}+\epsilon (d,N,\delta )$$
其中，
$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}$$
右边第一项是训练误差，训练误差越小，泛化误差也越小。第二项是N的单调递减函数，当N趋于无穷时趋于零。同时也是$\sqrt{logd}$阶的函数，假设空间包含的函数越多，其值越大。

生成模型与判别模型

模型的一般形式决策函数：$Y=f(X)$
或者条件概率分布：$P(Y|X)$
监督学习方法可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型称为生成模型和判别模型。
生成方法：由数据联合概率分布$P(X,Y)$,然后求出概率分布$P(Y|X)$作为预测的模型，即生成模型：
$$P(Y|X)=\frac{P(X,Y)}{P(X)}$$
典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型。
生成方法的特点：1、可以还原出联合概率分布。2、收敛速度更快，即样本容量增加时，更快的收敛于真实模型。3.存在隐变量时，仍可以用生成学习方法，判别方法不能用。

判别方法：由数据学习条件概率$P(Y|X)$或决策函数$f(X)$。判别方法关心的是给定输入X，应该预测什么样的输出Y。
典型的判别模型有：k邻近法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。
特点：1、直接面对预测，学习的准确率会更高。2、因为直接学习条件概率或决策函数，可以对数据进行各种程度上的抽象、定义特征并使用特征，可以简化学习问题。

监督学习的应用

三个方面：分类问题、标注问题和回归问题。

分类问题

输出变量Y取有限离散值时，预测问题便成为了分类问题。输入X可以是连续的也可以是离散的。
评价分类器的一般指标是准确率（accuracy）。对于二分类问题常用的评价指标是精确率（precition）与召回率（recall）。
精确率：
$$P=\frac{TP}{TP+FP}$$
召回率：
$$R=\frac{TP}{TP+FN}$$
F1值：精确率和召回率的调和均值
$$\frac{2}{F_1}=\frac{1}{P}+\frac{1}{R}$$

标注问题

标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的目的只在于学习一个模型，使它能够对观测序列给出标记序列作为预测。自然语言处理的策行标注是一个典型的标注问题。
评价指标和分类问题一样。
标注问题常用的方法：隐马尔可夫模型，条件随机场。

回归问题

回归用于预测输入变量和输出变量之间的关系。学习映射函数。
按输入变量分：一元回归、多元回归。按模型类型：线性回归、非线性回归。
常用损失函数是平方损失函数，这样，回归问题可以由最小二乘法求解。