周志华机器学习总结

基本形式

一般向量形式:

$f(\mathbf{x})={\mathbf{\omega }}^T\ast \mathbf{x}+b$

优点:

1. 非线性模型可由线性模型通过引入层级结构和高维映射得到
2. 具有很好的解释性(哪一个参数更为重要)

线性回归

根据给定数据集，是给定一个线性模型尽可能准确的预测实值的输出标记
最小化均方误差的模型求解方法即为最小二乘法
$$({\mathbf{\omega }}^{\ast },b^{\ast })=\underset{(\mathbf{\omega },b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-\mathbf{\omega }\ast {\mathbf{x}}_{\mathbf{i}}-b)$$
上式中样本 ${\mathbf{x}}_{\mathbf{i}}$ 由多个属性描述,称为多元线性回归

广义线性模型

$$y=g^{-1}({\mathbf{\omega }}^T\mathbf{x}+b)$$
$g()$ 为单调可微函数，当对应输出不为线性变化时引入 $g()$。比如输出在指数尺度上变化时，引入对数，则输出就可近似为线性

对数几率回归

寻找一个单调可谓的函数将分类任务的真实标记 $y$ 与线性回归函数的预测值联系起来，拿2分类任务为例，简单的方法是选择单位阶阶跃函数，但是该函数并不连续，因此选择类似的对数几率函数
$$f(x)=\frac{1}{1+e^{-(\omega x+b)}}$$
对数几率函数是任意阶可导的凸函数

由对数几率函数确定 $\mathbf{\omega }$ 和 $b$

对数几率函数可变化为
$$ln\frac{y}{1-y}={\mathbf{\omega }}^T\mathbf{x}+b$$
令 $y=p(y=1|\mathbf{x})$，则 $1-y=p(y=0|\mathbf{x})$
所以
$$p(y=1|\mathbf{x})=\frac{e^{{\mathbf{\omega }}^T\mathbf{x}+b}}{1+e^{{\mathbf{\omega }}^T\mathbf{x}+b}}p(y=0|\mathbf{x})=\frac{1}{1+e^{{\mathbf{\omega }}^T\mathbf{x}+b}}$$
然后通过最大似然法估计参数，根据给定模型，对数回归模型最大化‘对数似然’
$$l(\mathbf{\omega },b)=\sum _{i=1}^m\ln p(y_i|\mathbf{x};\mathbf{\omega },b)$$
即使得m个样本的预测为真是标记的概率最大
为了表示方便，可以将概率 $p$ 表示为
$$p(y_i|{\mathbf{x}}_i;\mathbf{\omega },b)=y_i{p}_1(\mathbf{x},\mathbf{\omega },b)+(1-y_i)p_0(\mathbf{x},\mathbf{\omega },b)$$
$p_1$表示预测为1的概率，$p_2$表示为预测为0的概率，则 $p_1=1-p_0$
所以原式可表示为
$$p(y_i|{\mathbf{x}}_i;\mathbf{\omega },b)=y_{i}p(\mathbf{x},\mathbf{\omega },b)+(1-y_i)(1-p(\mathbf{x},\mathbf{\omega },b)$$

线性判别分析 (LDA)

思想

给定训练样集，设法将样例投影到一条直线上，使得同类样例尽量接近，异样样例尽量远离

求解

设投影直线的方向为 $\mathbf{\omega }$, ${\mathbf{X}}_{\mathbf{i}},{\mathbf{\mu }}_{\mathbf{i}},{\mathbf{\Sigma }}_{\mathbf{i}}$ 表示第 $i$ 个样本集合，均值向量和协方差矩阵。均值向量的投影为 ${\mathbf{\omega }}^T{\mathbf{\mu }}_{\mathbf{i}}$，协方差矩阵的投影为 ${\mathbf{\mu }}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{i}}{\mathbf{\mu }}_{\mathbf{i}}$
使同类的投影尽可能近即使协方差矩阵的投影尽可能的小，使不同类的投影尽可能的远即使均值的投影距离尽可能大
$$J=\frac{||{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{\mu }}_0-{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{\mu }}_1|{|}_2^2}{{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{\Sigma }}_0\mathbf{\omega }+{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{\Sigma }}_1\mathbf{\omega }}=\frac{{\mathbf{\omega }}^{\mathbf{T}}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathbf{T}}\mathbf{\omega }}{{\mathbf{\omega }}^{\mathbf{T}}({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{\omega }}$$
令 ${\mathbf{S}}_{\mathbf{\omega }}={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1$为类内散度矩阵，${\mathbf{S}}_{\mathbf{b}}=({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathbf{T}}$为类间散度矩阵，$S_{\omega },S_b$ 为广义瑞丽商(generalized Rayleigh quotient)

多分类任务

设有 $N$ 个类，第 $i$ 个类的示例数为 $m_i$，定义全局散度矩阵
$${\mathbf{S}}_{\mathbf{t}}=\sum _{i=1}^m(({\mathbf{x}}_{\mathbf{i}}-\mathbf{\mu })({\mathbf{x}}_{\mathbf{i}}-\mathbf{\mu }{)}^{\mathbf{T}}$$
$\mathbf{\mu }$ 为所有示例的均值
类内散度矩阵 ${\mathbf{S}}_{\mathbf{\omega }}$ 为每个类别的散度矩阵之和，即 ${\mathbf{S}}_{\mathbf{\omega }}={\sum }_{i=1}^m{\mathbf{S}}_{{\mathbf{\omega }}_{\mathbf{i}}}$，其中 $S_{{\omega }_i}={\sum }_{j=1}^{m_i}(({\mathbf{x}}_{\mathbf{j}}-{\mathbf{\mu }}_{\mathbf{i}})({\mathbf{x}}_{\mathbf{j}}-{\mathbf{\mu }}_{\mathbf{i}}{)}^{\mathbf{T}}$
$${\mathbf{S}}_{\mathbf{b}}={\mathbf{S}}_{\mathbf{t}}-{\mathbf{S}}_{\mathbf{\omega }}=\sum _{i=1}^N{m}_i({\mathbf{\mu }}_{\mathbf{i}}-\mathbf{\mu })({\mathbf{\mu }}_{\mathbf{i}}-\mathbf{\mu }{)}^{\mathbf{T}}$$
多分类的LDA有多种实现方法，选择 ${\mathbf{S}}_{\mathbf{\omega }},{\mathbf{S}}_{\mathbf{t}},{\mathbf{S}}_{\mathbf{b}}$ 任意两个都可。
$\mathbf{W}$ 是一个投影矩阵，将多分类问题投影到 $d^{\prime }$ 维空间，$d^{\prime }\ll d$，可用于降维。

多分类问题

多分类问题的基本思路是拆解法，将多分类任务柴蔚若干个二分类任务
一对一(OvO): 将N个类别两两配对，形成 $N(N-1)/2$ 个分类任务，最终预测结果根据分类结果中数目最多的类别判断
一对多(OvR): 将一个类别视为正，其余所有均视为负。若只有一个类别为真，那么该类为预测结果；若多个类别都判断为真，根据每个判断结果的置信度预测最终结果。

多对多(MvM):
对 $N$ 个数据集进行 $M$ 次分类，每次将一部分作为正数据集，一部分作为负数据集，于是可以训练 $M$ 个分类器。最常用的为“纠错输出ma