[HITML]哈工大2020秋机器学习复习笔记

1 基础

查准率 = 预测正确的正例 / 预测出的所有正例

查全率 = 预测正确的正例 / 真实的所有正例

1.1 机器学习中的概率

机器学习任务涉及不确定性下的推理，不确定性的来源/随机性:

• 噪声——传感器测量的变异性，部分可观测性，不正确的标签

• 有限样本大小——训练和测试数据是随机抽取的实例

概率量化不确定性!

分布：二项分布、beta分布、狄利克雷分布

1.2 最大似然估计、最大后验概率

• 频率论的MLE方法：θ为未知常数，由资料估计

  Maximum Likelihood Estimate (MLE): choose $\theta$ that maximizes probability of observed data $\mathcal{D}$
  $\theta =\arg \underset{\theta }{\max }P(\mathcal{D}\mid \theta )$

• 贝叶斯的MAP方法：θ为随机变量，假设为概率分布

  Maximum a Posteriori (MAP) estimate: choose $\theta$ that is most probable given prior probability and the data

  $\begin{array}{rl}\hat{\theta }& =\arg \underset{\theta }{\max }P(\theta \mid \mathcal{D})\\ & =\arg \underset{\theta }{\max }=\frac{P(\mathcal{D}\mid \theta )P(\theta )}{P(\mathcal{D})}\end{array}$

缺点：

• MLE：如果数据集太小就会过拟合

• MAP：两个有着不同先验的人将会得到不同的估计

详见 https://blog.csdn.net/weixin_44940258/article/details/109731281

1.3 最小二乘法、梯度下降法、共轭梯度法

最小二乘指的是预测值与样本值距离的平方和最小，在高斯分布的条件下，最下二乘和最大似然可以得到相同的结果。

2 决策树

同样一个训练数据集，可以有多棵树与其一致

决策树的归纳：贪心策略——基于一个可以最优化某项准则的属性来切分示例集合

确定最好的切分：一个好的属性切分是将示例集合分成若干子集，最理想情况是每个子集为“皆为正例”或“皆为反例”，那么需要对结点混杂度（impurity）进行测量。测量由于切分带来的熵减少量，选择具有最大减少量的切分（最大增益）

停止切分准则

(1) 当前结点包含的样本全属于同一类别，无需划分;

(2) 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分;

(3) 当前结点包含的样本集合为空，不能划分.

当获得最小可接受的决策树时则停止

Occam’s 剃刀：选择适合训练集合数据的最简单假设

解决过拟合问题

• 预剪枝(早期停止规则)：
  • 在算法变成一棵完全成熟的树之前停止它，节点的典型停止情况:
  • 如果所有实例都属于同一个类，则停止
  • 如果所有属性值都相同，则停止
  • 更多的限制条件:
  • 如果实例数量少于用户指定的阈值，则停止
  • 如果实例的类分布与可用的特征无关，停止(例如，使用χ2检验)
  • 如果扩展当前节点不能改善杂质度量(例如，基尼系数或信息增益)，停止。
• 后剪枝：使决策树完整生长，以自底向上的方式修剪决策树的节点，如果修剪后泛化误差有所改善，则用叶节点替换子树，叶节点的类标签由子树中的大多数实例类确定，可以使用MDL (Minimum Description Length)进行后剪枝。

缺失属性值的处理

• 在属性值缺失的情况下进行划分属性选择：去除所有缺失的样本，但是计算无缺失值样本所占的比例，在计算信息增益时只看在无缺失样本上的值，但结果需要乘以无缺失值样本所占的比例。
• 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分：让同一个样本以不同的概率划入到不同的子结点中去。让同一个样本划到所有的子结点中，同时设置样本的权值为无缺失值样本中在该属性上取结点值的样本所占的比例

2.1 熵

信息量：当一个不可能发生的事件发生了，我们就说这个信息的信息量大；而当一个一定会发生的事件发生了，我们说这个信息几乎没有信息量。这符合我们的直觉。可以使用函数 $-\ln p(x)$ 来描述信息量的大小。

因此，我们用熵这个概念来描述一个事件能够带给我们的信息量的期望，即
$$H(X)=-\sum _{i=1}^{n}p(x_i)\ln p(x_i)$$

2.2 条件熵

条件熵 $H(Y|X)$ 表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。条件熵 $H(Y|X)$ 定义为 $X$ 给定条件下 $Y$ 的条件概率分布的熵对 $X$ 的数学期望：

条件熵 $H(Y|X)$ 相当于联合熵 $H(X,Y)$ 减去单独的熵 $H(X)$，即 $H(Y|X)=H(X,Y)-H(X)$

互信息

信息增益：目标类变量与属性A变量在S（样本集）上的互信息

2.3 相对熵（KL散度）

相对熵用于描述两个分布之间的差异，假设 $P$ 代表真实分布，$Q$ 代表预测分布，那么这两个分布之间就有一个“相似度”，那么就可以描述它们之间的差异的大小，这就是相对熵。计算公式：
$$D_{KL}(p\Vert q)=\sum _{i=1}^{n}p\left(x_i\right)\ln \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)$$
显然，$D_{KL}(p||q)\ne D_{KL}(q||p)$

2.4 交叉熵

在机器学习中，评估一个模型的好坏，只需要计算KL散度即可，而对KL散度公式做一下变形，我们发现，只需要关注交叉熵即可：
$$\begin{array}{rl}{D}_{KL}(p\Vert q)& =\sum _{i=1}^{n}p\left(x_i\right)\ln \left(p\left(x_i\right)\right)-\sum _{i=1}^{n}p\left(x_i\right)\ln \left(q\left(x_i\right)\right)\\ & =-H(p(x))+\left[-\sum _{i=1}^{n}p\left(x_i\right)\ln \left(q\left(x_i\right)\right)\right]\end{array}$$
等式的前一部分恰巧就是p的熵，这一部分是不会变化的，而等式的后一部分，就是交叉熵：
$$H(p,q)=-\sum _{i=1}^{n}p\left(x_i\right)\ln \left(q\left(x_i\right)\right)$$

关于条件熵、相对熵、交叉熵参考 https://www.cnblogs.com/kyrieng/p/8694705.html

交叉熵参考 https://blog.csdn.net/tsyccnh/article/details/79163834

3 贝叶斯判别

3.1 最优分类器

贝叶斯决策论，在分类任务中是在所有相关概率都已知的理想情形下，考虑如何基于这些概率和误判损失来选择最优的类别标记。

假设类别标记 $Y=\{c_1,c_2,...,c_N\}$，记 ${\lambda }_{ij}$ 为真实类别为 $c_j$ 的样本点被错误的标记为类别 $c_i$ 所造成的损失，因此，对于已知后验概率的点 $x$，我们有以下的期望损失 (风险)：
$$R\left(c_i\mid x\right)=\sum _{j=1}^N{\lambda }_{ij}P\left(c_j\mid x\right)$$
我们的目的就是要找一个判定准则 $h:X\to Y$，使得总体风险最小，即 $R(h)=E_x[R(h(x)\mid x)]$ 最小，显然，对每个样本 $x$，若 $h$ 能最小化条件风险 $R(h(x)\mid x)$，则总体风险 $R(h)$ 也将被最小化。这就产生了贝叶斯判定准则 (Bayes decision rule)：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记。此时我们有一个最优分类器
$$h^{\ast }(x)=\arg \underset{c\in Y}{\min }R(c|x)$$
这就是贝叶斯最优分类器。

若目标是最小化分类错误率，则误判损失 ${\lambda }_{ij}$ 可写为 ${\lambda }_{ij}=\{\begin{array}{ll}0,& \text{ if }i=j\\ 1,& \text{ otherwise }\end{array}$

于是真实类别为 $c_j$ 的点 $x$ 的期望损失是 $R(c_i|x)=1-P(c_i|x)$

我们的目的仍是使每个点的损失最小，所以相当于使 $P(c_i|x)$ 最大，即 $\arg \underset{c_i}{\max }P(c_i|x)$

故得到的最优分类器为 $\forall x\in X,h^{\ast }(x)=\arg \underset{c\in Y}{\max }P(c|x)$

3.2 线性判别

线性判别分析 (LDA)，原理同PCA，相当于PCA在二维向一维投影降维的特殊情况。

3.3 生成式模型与判别式模型

• 判别式模型：给定 $x$，可通过直接建模 $P(c|x)$ 来预测 $c$

  决策树、SVM、线性回归、逻辑回归、kNN

• 生成式模型：先对联合概率分布 $P(x|c)$ 建模，然后再由此获得 $P(c|x)$

  生成式模型：朴素贝叶斯、GMM

3.4 KNN

kNN的意思是取k个最近的邻居的信息来做预测，对于分类任务来说，最近的k个邻居中，哪个类的邻居最多就把它也标为这个类，而对于回归任务来说，可以将这k个邻居的的平均值作为结果输出。总之，就是用最近的k的邻居的特征来描述测试点的特征。

关于距离的度量：

• 欧式距离
• 1范数
• 无穷范数
• 马氏距离：$D(x,x^{\prime })=\sqrt{{\sum }_i{\sigma }_i^2(x_i-x_i^{\prime }{)}^2}\iff D(x,x^{\prime })=\sqrt{(x-x^{\prime }{)}^T{\Sigma }^{-1}(x-x^{\prime })}$
• 相关系数
• 马氏距离
• 曼哈顿距离
• 汉明距离

4 线性回归、朴素贝叶斯与逻辑回归

4.1 线性回归

目的是构造一个线性函数，使得输入一个观测值x，能够输出其对应的预测值y，由于y的取值是连续的，所以称其为回归问题，这就是线性回归。

为了判断我们得到的函数中哪个是最好的，我们需要一个指标，这就是损失函数。

在多项式拟合的实验中，我们使用了一个关于x的高阶多项式来拟合正弦函数，虽然在二维空间中，我们得到的不是一个线性函数，但在高位空间看，我们得到的实际上是一个关于 $X=(x,x^2,...,x^n)$ 的线性函数。在求解过程中，我们使用的损失函数是预测值与样本值的欧氏距离之和，当损失函数最小时，我们取到最优的函数，即回归直线。

4.2 过拟合

过拟合，指的是模型在训练集上表现的很好，但是在交叉验证集合测试集上表现一般，也就是说模型对未知样本的预测表现一般，泛化（generalization）能力较差。

对于过拟合的处理有以下几种常见的方式：

• 增加训练数据集
• 正则化，增加正则项
• 设置提前停止的条件：Early stopping便是一种迭代次数截断的方法来防止过拟合的方法，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。

4.3 偏置与方差

4.4 特征变换

从一组已有的特征通过一定的数学运算得到一组新特征

用于数据降维

• LDA (线性判别分析)：有监督的。设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、 异类样例的投影点尽可能远离；在对新样
  本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

• PCA (主成分分析)：无监督的。主要用于对数据的降维压缩，不属于类别判别。

4.5 朴素贝叶斯

在贝叶斯中，有 $P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$，即对 $\forall i,j$，有
$$P(Y=y_i|X=x_j)=\frac{P(X=x_j|Y=y_i)P(Y=y_j)}{P(X=x_j)}=\frac{P(X=x_j|Y=y_i)P(Y=y_i)}{{\sum }_{k}P(X=x_j|Y=y_k)P(Y=y_k)}$$
在朴素贝叶斯中，给定观测值 $Y$，假设 $X=<X_1,X_2,...,X_n>$，对于 $\forall 1\le i<j\le n$，$X_i$ 和 $X_j$ 满足条件独立，即
$$P(X_1,X_2,...,X_n|Y)=\prod _{i}P(X_i|Y)$$

条件独立：X和Y条件独立，即 $P(X|Y,Z)=P(X|Z)$

所以，在朴素贝叶斯条件独立的假设下给定 $X^{new}=<X_1,X_2,...,X_n>$ 估计该点的类别 $Y^{new}$，有
$$P(Y=y_k|X_1,X_2,...,X_n)=\frac{P(X_1,X_2,...,X_n|Y=y_k)P(Y=y_k)}{{\sum }_{j}P(X_1,X_2,...,X_n|Y=y_j)P(Y=y_j)}=\frac{P(Y=y_k)\prod _{i}P(X_i|Y=y_k)}{\sum _{j}P(Y=y_k)\prod _{i}P(X_i|Y=y_j)P(Y=y_j)}$$
因此原问题 $Y^{new}=\arg \underset{y_k}{\max }P(Y=y_k|X_1,X_2,...,X_n)$ 就转化为

$$Y^{new}=\arg \underset{y_k}{\max }P(Y=y_k)\prod _{i}P(X_i|Y=y_k)\text{\hspace{1em}(4.5.1)}$$

也就是说，当各个属性之间条件独立时，考虑最大化各个属性取值时的类别，而为了能够从整体上看最大化的情况，取了各个属性值上的概率积。

在朴素贝叶斯中，我们需要对两类参数进行估计

• 先验概率：${\pi }_k=P(Y=y_k)$

• 条件概率：${\theta }_{ijk}=P(X_i=x_{ij}|Y=y_k)$

因此，分别采用MLE和MAP来看效果

$\#D\{A\}$ 表示数据集D中满足条件A的样本数量

• MLE：${\hat{\pi }}_k=\hat{P}(Y=y_k)=\frac{\#D\{Y=y_k\}}{|D|},{\hat{\theta }}_{ijk}=\hat{P}(X_i=x_{ij}|Y=y_k)=\frac{\#D\{X_i=x_{ij}\wedge Y=y_k\}}{\#D\{Y=y_k\}}$

  但是有个问题，若某个属性值在训练集中没有与某个类同时出现过，则直接基于上式进行概率估计，再根据式$(4.5.1)$进行判别将出现问题。假设对于类别$y_0$ 来说，这个类别中的所有数据都没有出现 $X_2=x_{23}$ 的取值，因此有 $P(X_2=x_{23}|Y=y_0)=0$，而由于式$(4.5.1)$中的连乘，最终会得到一个拥有 $X_2=x_{23}$ 属性值的点被判断为属于 $y_0$ 类的可能性为0，而其他属性无法起到相应的作用，显然这是不合理的。因此，在各个估计中加入平滑项来消除这个问题，于是可以得到与MAP中的式子相同的结论。

• MAP：${\hat{\pi }}_k=\hat{P}(Y=y_k)=\frac{\#D\{Y=y_k\}+{\alpha }_k}{|D|+{\sum }_m{\alpha }_m},{\hat{\theta }}_{ijk}=\hat{P}(X_i=x_{ij}|Y=y_k)=\frac{\#D\{X_i=x_{ij}\wedge Y=y_k\}+{\alpha }_k^{\prime }}{\#D\{Y=y_k\}+{\sum }_m{\alpha }_m^{\prime }}$

  ${\alpha }_i$ 是一些虚样本点。假的，人为加入的，当 ${\alpha }_i=0$ 时为MLE；当 ${\alpha }_i=1$ 时为拉普拉斯平滑，这是常用的方法。

朴素贝叶斯在不满足假设（各属性之间不条件独立）下的分类效果仍然很好

当第 $i$ 个属性 $X_i$ 取值是连续的时：高斯朴素贝叶斯

4.6 逻辑回归

分类器做分类问题的实质是预测一个已知样本的位置标签，即$P(Y=1|X=<X_1,...,X_n>)$。按照朴素贝叶斯的方法，可以用贝叶斯概率公式将其转化为类条件概率(似然)和类概率的乘积。但通过以下的推导可以直接求该概率。

假设分类问题是一个0/1二分类问题：
$$\begin{array}{rl}P(Y=1|X)& =\frac{P(Y=1)P(X|Y=1)}{P(X)}\\ & =\frac{P(Y=1)P(X|Y=1)}{P(Y=1)P(X|Y=1)+P(Y=0)P(X|Y=0)}\\ & =\frac{1}{1+\frac{P(Y=0)P(X|Y=0)}{P(Y=1)P(X|Y=1)}}\\ & =\frac{1}{1+\exp (\ln \frac{P(Y=0)P(X|Y=0)}{P(Y=1)P(X|Y=1)})}\end{array}$$
令$\pi =P(Y=1)$，$1-\pi =P(Y=0)$
$$P(Y=1|X)=\frac{1}{1+\exp (\ln \frac{1-\pi }{\pi }+{\sum }_i\ln \frac{P(X_i|Y=0)}{P(X_i|Y=1)})}$$

假设类条件分布服从正态分布且方差不依赖于$k$。$P(x|y_k)=\frac{1}{{\sigma }_i\sqrt{2\pi }}{e}^{\frac{-(x-{\mu }_k{)}^2}{2{\sigma }_i^2}}$

令$w_0=\ln \frac{1-\pi }{\pi }+{\sum }_i\frac{{\mu }_{i1}^2-{\mu }_{i0}^2}{2{\sigma }_i^2}$，$w_i=\frac{{\mu }_{i0}-{\mu }_{i1}}{{\sigma }_i^2}$，则有：
$$P(Y=1|X)=\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i)}$$

使用极大条件似然估计来计算损失函数 $l(w)$，此时有
$$P(Y=0|X,W)=\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i)}$$
所以损失函数
$$\begin{array}{rl}l(W)& =\sum _l{Y}^l\ln P(Y^l=1|X^l,W)+(1-Y^l)\ln P(Y^l=0|X^l,W)\\ & =\sum _l{Y}^l\ln \frac{P(Y^l=1|X^l,W)}{P(Y^l=0|X^l,W)}-\ln P(Y^l=0|X^l,W)\\ & =\sum _l{Y}^l(w_0+\sum _{i=1}^n{w}_i{X}_i)-\ln (1+exp(w_0+\sum _{i=1}^n{w}_i{X}_i)\end{array}\text{\hspace{1em}(4.6.1)}$$
我们要求$\arg {\max }_{w}l(w)$，也就是求$\arg {\min }_w-l(w)$，用梯度下降法求解
$$\begin{gathered} \frac{\partial l(W)}{\partial w_i}=\sum _l{X}_i^l(Y^l-\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i^l)}) \\ {w}_i=w_i-\eta \sum _l{X}_i^l(Y^l-\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i^l)})\text{\hspace{1em}(4.6.2)} \end{gathered}$$
向量形式
$$W\text{W}W=W\text{W}W-\eta \sum _l{X\text{X}X}^l({Y\text{Y}Y}^l-\frac{1}{1+\exp (W{X}^l\text{WXl}W{X}^l)})$$
为了控制过拟合问题增加正则项
$$w_i=w_i-\eta \lambda w_i-\eta \sum _l{X}_i^l(Y^l-\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i^l)})$$
向量形式
$$W\text{W}W=W\text{W}W-\eta \lambda W\text{W}W-\eta \sum _l{X\text{X}X}^l({Y\text{Y}Y}^l-\frac{1}{1+\exp (W{X}^l\text{WXl}W{X}^l)})$$

这种直接将式$(4.6.1)$求导得到式$(4.6.2)$进行迭代的方式，在数据特别多，即 $l(w)$ 特别大的情况下，有可能导致上溢出发生，基于此，我们将式$(4.6.1)$归一化，防止其溢出，得到下式
$$\begin{gathered} l(W)=\frac{1}{l}\sum _l{Y}^l(w_0+\sum _{i=1}^n{w}_i{X}_i)-\ln (1+exp(w_0+\sum _{i=1}^n{w}_i{X}_i) \\ \frac{\partial l(W)}{\partial w_i}=\frac{1}{l}\sum _l{X}_i^l(Y^l-\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i^l)}) \\ {w}_i=w_i-\frac{\eta }{l}\sum _l{X}_i^l(Y^l-\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i^l)}) \\ W\text{W}W=W\text{W}W-\frac{\eta }{l}\sum _l{X\text{X}X}^l({Y\text{Y}Y}^l-\frac{1}{1+\exp (W{X}^l\text{WXl}W{X}^l)}) \end{gathered}$$
加入正则项后
$$\begin{gathered} w_i=w_i-\eta \lambda w_i-\frac{\eta }{l}\sum _l{X}_i^l(Y^l-\frac{1}{1+\exp (w_0+{\sum }_{i=1}^n{w}_i{X}_i^l)}) \\ W\text{W}W=W\text{W}W-\eta \lambda W\text{W}W-\frac{\eta }{l}\sum _l{X\text{X}X}^l({Y\text{Y}Y}^l-\frac{1}{1+\exp (W{X}^l\text{WXl}W{X}^l)}) \end{gathered}$$

5 SVM

关于SVM https://blog.csdn.net/v_july_v/article/details/7624837

5.1 基本问题

记将两个类别分开的超平面为 $w^{T}x\text{wTx}{w}^{T}x+b=0$，其中 $w\text{w}w=(w_1;w_2;...;w_n)$ 为法向量

$w\text{w}w$ 中的分号表示是一个列向量

所以样本空间 $D$ 中任意点 $x\text{x}x$ 到超平面的距离可写为：$r=\frac{|w^{T}x\text{wTx}{w}^{T}x+b|}{||w\text{w}w||}$

假设该超平面能够对训练样本正确分类，则有 $\{\begin{array}{ll}{w}^T{x}_i\text{wTxi}{w}^T{x}_i+b>0,& y_i=+1\\ w^T{x}_i\text{wTxi}{w}^T{x}_i+b<0,& y_i=-1\end{array},({x\text{x}x}_i,y_i)\in D$

对系数 $w\text{w}w,b$ 进行适当的放缩有 $\{\begin{array}{ll}{w}^T{x}_i\text{wTxi}{w}^T{x}_i+b\ge +1,& y_i=+1\\ w^T{x}_i\text{wTxi}{w}^T{x}_i+b\le -1,& y_i=-1\end{array},({x\text{x}x}_i,y_i)\in D\Rightarrow y_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)\ge 1$ （这就是超平面需要满足的条件，即约束条件）

于是距离超平面最近的这几个训练样本点使上式等号成立，这些点被称为支持向量，而当等号成立时我们说限制被激活 (active)，而对于其他点我们说限制未激活 (inactive)。

显然，此时这两个不同类到超平面的距离和为 $\gamma =\frac{2}{||w\text{w}w||}$，它被称为margin（间隔、边缘）

所以我们要找到的就是具有最大间隔的划分超平面 (Maximum Margin Classification)，即$\underset{w\text{w}w,b}{\max }\frac{2}{||w\text{w}w||}\text{s.t.}{y}_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)\ge 1,i=1,2,...,m$

显然，为了最大化间隔仅需最大化 $||w\text{w}w|{|}^{-1}$，这等价于最小化 $||{w\text{w}w}^2||$ 于是，上式重写为 $\underset{w\text{w}w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2\text{s.t.}{y}_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)\ge 1,i=1,2,...,m$

这就是SVM的基本形式。因为现在的目标函数是二次的，约束条件是线性的，所以它是一个凸二次规划问题。这个问题可以用现成的QP (Quadratic Programming)优化包进行求解。一言以蔽之：在一定的约束条件下，目标最优，损失最小。

5.2 对偶问题

由于这个问题的特殊结构，还可以通过拉格朗日对偶性（Lagrange Duality）变换到对偶变量 (dual variable) 的优化问题，即通过求解与原问题等价的对偶问题（dual problem）得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法。

将5.1中最后得到的问题使用拉格朗日乘子法变成无约束的问题，如下，其中 ${\alpha }_i$ 为每个约束条件对应的拉格朗日乘子：
$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left(y_i\left(w^T{x}_i+b\right)-1\right)\text{\hspace{1em}(5.2.1)}$$
所以我们有 $\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }\mathcal{L}(w,b,\alpha )$，这个问题和原问题是等价的，而直接求解此问题又不好求解，所以取它的对偶问题变成：
$$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )$$
所以首先固定 $\alpha$，要让 $L$ 关于 $w$ 和 $b$ 最小化，我们分别对 $w,b$ 求偏导：
$$\begin{gathered} {\nabla }_w\mathcal{L}(w,b,\alpha )=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i \\ {\nabla }_b\mathcal{L}(w,b,\alpha )=\sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
将这两个式子代回 $\mathcal{L}$，得到 $\mathcal{L}(w,b,\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i^T{\mathbf{x}}_j\right)$，所以我们得到如下的对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j\text{xiTxj}{x}_i^T{x}_j) \\ \text{ s.t. }{\alpha }_i\ge 0,i=1,\dots ,k \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
这又是一个二次规划问题，总能求出 ${\alpha }_i$ 的全局最大值，然后就能计算出 $w,b$，而从对偶问题解出的 ${\alpha }_i$ 是式 $(5.2.1)$ 中的拉格朗日乘子，对应训练样本 $({x\text{x}x}_i,y_i)$。注意到5.1中最后的式中有不等式约束。因此上述过程需满足 KKT (Karush-Kuhn-Tucker) 条件，即要求
$$\{\begin{array}{l}{\alpha }_i\ge 0\\ y_{i}f\left(x_i\right)-1\ge 0\\ {\alpha }_i\left(y_{i}f\left(x_i\right)-1\right)=0\end{array}$$

关于KKT条件，参考 https://zhuanlan.zhihu.com/p/38163970

观察KKT条件，发现只有少数 ${\alpha }_i$ 非0，因为KKT条件的第三个条件要满足，而对于非支持向量来说 $y_{i}f(x_i)>1$ 是一定成立的，所以对于这些点必须有 ${\alpha }_i=0$

因此，在计算 $w$ 时，只需要关心支持向量对应的 ${\alpha }_i$ 即可，即：$w=\sum _{i\in SV}{\alpha }_i{y}_i{x\text{x}x}_i$，SV指support vector，所以我们得到的超平面方程为 ($x\text{x}x$ 是一个新数据)：
$$f(x\text{x}x)=w^{T}x\text{x}x+b=\sum _{i\in SV}{\alpha }_i{y}_i{x}_i^{T}x\text{xiTx}{x}_i^{T}x+b$$
通过上式可以看到，并不需要显式的计算出 $w$，最终是通过新样例与支持向量比较来决策类别的。

5.3 软间隔 Soft Margin Hyperplane

在实际的应用中，我们的数据可能实际上是线性可分的，但是由于噪声的存在，使得两类的个别数据点之间的距离较近，导致类别之间的距离较近，而如果在这个条件下仍然按照上面的办法求解，显然求得的结果是不合理的，甚至有可能出现一类的某个数据点出现在了对侧中，导致不存在分类超平面。因此，我们需要一种手段来使得分类超平面能够容忍这些“错误”的数据点 (outlier) 的存在，即有些点可以不满足约束条件。

原约束条件为 $y_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)\ge 1,i=1,2,...,m$，现在考虑outlier的存在变成了 $y_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,...,m$，其中 ${\xi }_i\ge 0$ 称为松弛变量 (slack variable) ，对应数据点 ${x\text{x}x}_i$ 允许偏离的量。当 ${\xi }_i=0$ 时说明对应的点 ${x\text{x}x}_i$ 无错误，显然，如果将 ${\xi }_i$ 设为任意大的话，那任意的超平面都符合条件。所以，在原来的目标函数后面加上一项，使得松弛变量的总和也要最小，于是新的原问题变成了：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i \\ \text{ s.t.}{y}_i\left(w^T{x}_i+b\right)\ge 1-{\xi }_i,i=1,\dots ,m \\ {\xi }_i\ge 0,i=1,\dots ,m \end{gathered}$$

其中，引入了一个常量 $C$，它是在“寻找 margin 最大的超平面”和“保证数据点偏差量最小”之间权衡参数，它在事先已经被约定好了。

同样构造拉格朗日函数 $\mathcal{L}(w,b,\xi ,\alpha ,r)=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T{x}_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^n{r}_i{\xi }_i$

分别对 $w,b.{\xi }_i$ 求偏导，其中，对 ${\xi }_i$ 求偏导得到 $\frac{\partial \mathcal{L}}{\partial {\xi }_i}=0\Rightarrow C-{\alpha }_i-r_i=0,i=1,\dots ,m$

又由于拉格朗日乘子应该满足 $r_i\ge 0$，因此得到 $0\le {\alpha }_i\le C$，于是得到对偶问题，与之前的对偶问题唯一的区别在于 ${\alpha }_i$ 多了一个上限 $C$：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j\text{xiTxj}{x}_i^T{x}_j) \\ \text{ s.t. }0\le {\alpha }_i\le C,i=1,\dots ,k \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$

5.4 核方法

以上的求解都是在线性可分的条件下进行的，而事实上大部分时候数据并不是线性可分的，这个时候满足这样条件的超平面就根本不存在。对这样的问题可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。幸运的是，如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。

假设一个映射 $\varphi (x)$ 表示将 $x$ 映射后的特征向量，在特征空间中划分超平面所对应的模型可表示为 $f(x\text{x}x)=w^T\varphi (x\text{x}x)+b$，类似之前的推导，有
$$\underset{w\text{w}w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2\text{s.t.}{y}_i({w\text{w}w}^T\varphi ({x\text{x}x}_i)+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,2,...,m$$
对偶问题
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j)) \\ \text{ s.t. }0\le {\alpha }_i\le C,i=1,\dots ,k \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
可以看到，我们有在高维空间中的内积运算 $(\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j)$，这在维度较低的时候计算量还行，然而一旦出现很高的维度甚至无穷维，显然我们受不了，于是核函数出现了：
$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$
通过这个函数，我们把原来的高维空间中的内积运算转换成了在原空间中的内积运算。于是，使用这个方法，就将对偶文艺重写为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\cdot \kappa (x_i,x_j\text{xi,xj}{x}_i,x_j) \\ \text{ s.t. }0\le {\alpha }_i\le C,i=1,\dots ,k \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
求解后得到的超平面为 $f(x\text{x}x)=w^T\varphi (x\text{x}x)+b=\sum _{i\in SV}{\alpha }_i{y}_i\varphi ({x\text{x}x}_i{)}^T\varphi (x\text{x}x)+b=\sum _{i\in SV}{\alpha }_i{y}_i\cdot \kappa (x_i,x\text{xi,x}{x}_i,x)+b$

6 无监督学习

6.1 层次聚类与距离度量、相似度函数

层次聚类有两种实现方式，一是自底向上的聚合策略 (Bottom-up, agglomerative)，二是自顶向下的分拆策略 (Top-down, divisive)。

• 自底向上聚合：输入样本集后，先将每个点看作一个单独的簇，然后初始化一个距离矩阵，然后每次合并最近的两个簇，一直合并到剩余要求的k个簇，输出结果。合并的历史形成了一个二叉树或层次结构。
• 自顶向下分拆：从数据集中的所有数据开始，考虑将其分成两部分的所有可能方法，选择最好的分法，然后在两边递归操作。

时间复杂度分析：先计算所有点对之间的距离，$O(n^2)$；在每次迭代中，对所有的距离排序，找到最大的距离 $O(n^2\log n)$，更新合并后的簇和其他簇之间的相似度；为了保持整体 $O(n^2)$ 的性能，类之间的相似度计算必须在常数时间内完成；最终，我们得到 $O(n^2\log n)$ 或 $O(n^3)$。

距离度量应该满足的性质

• 对称性：D(A,B) = D(B,A)
• 自反性：D(A,A) =0
• 距离是正数：D(A,B) = 0 IIf A= B
• 三角不等式：D(A,B) < D(A,C) + D(B,C)

层次聚类中关于两个簇的距离 (相似度) 的度量，不同的度量方式有可能导致不同的聚类结果：

• Single-link：两个簇之间最近的两个点的距离
• Complete-link：两个簇之间最远的两个点的距离
• Centroid：两个簇中心的距离
• Average-link：所有跨簇对的平均值

相似度函数：

• 闵可夫斯基度量 Minkowski Metric：r阶 $d(x,y)=\sqrt[{}^r]{\sum _{i=1}^p{\left|x_i-y_i\right|}^r}$

  • $r=$