PRML第四章读书笔记——Linear Models For Classification 线性判别分析/感知机、IRLS、probit回归、标准链接函数、拉普拉斯近似、BIC准则、贝叶斯逻辑回归

（真的非常期待能读到第8、9章那里，看看贝叶斯派的作者是如何讲概率图的）

P180 回归基础

• 回归有三种方式：

  1. 判别函数discriminant function：直接为$\text{x}$分配类别
  2. 判别模型discriminative models：预测$p({\mathcal{C}}_k|\text{x})$
  3. 生成模型generative model：预测$p(\text{x}|{\mathcal{C}}_k)$或$p(\text{x},{\mathcal{C}}_k)$，接着通过贝叶斯公式，推出后验

• 激活函数activation function的逆称之为链接函数link function

• 推广的线性模型generalized linear models：$y(\text{x})=f({\text{w}}^T\text{x}+w_0)$，注意决策边界$y=constant$对应${\text{w}}^T\text{x}+w_0=constant$

4.1 Discriminant Functions

P181 两类情况

$$y(\text{x})={\text{w}}^T\text{x}+w_0={\tilde{\text{w}}}^T\tilde{\text{x}}$$
其中$\tilde{\text{w}}=(w_0,\text{w}),\tilde{\text{x}}=(1,\text{x})$

P182 多类情况

$$\begin{array}{rl}\text{y}(\text{x})& ={\tilde{\text{W}}}^T\tilde{\text{x}}\\ y_k(\text{x})& ={\text{w}}_k^T\text{x}+w_{k0}\end{array}$$
如果$y_k(\text{x})>y_j(\text{x})\text{ for all }j\ne k$，那么$\text{x}$ 属于${\mathcal{C}}_k$.

• 这种定义方式不会出问题，其他的类别归属方法可能会出问题。（翻书）
• 决策区域一定是单连通singly connected且凸convex的

以上把模型定义清楚了，接下来考虑如何学习参数，有最小二乘、Fisher线性判别和感知机算法三种

P184 最小二乘

方法是把label给onehot处理，然后直接当回归做。但是这样非常差。因为

1. mse会惩罚分的“过于正确”的点。也即远离分界面的数据对决策边界影响很大
2. 多分类会导致某些区域很小很小

究其原因是回归当中我们假定的模型label服从高斯分布，和这里非常不一样

P187 Fisher线性判别分析

思想：类均值分最开，类内方差最小

P190 Fisher线性判别分析是一种特殊的最小二乘

对于二分类问题，如果记${\mathcal{C}}_1$的label为$N/N_1$（$N_1$是${\mathcal{C}}_1$样本数，$N$为总样本数），${\mathcal{C}}_2$的label为$-N/N_2$. 那么Fisher判别分析的结果和最小二乘一样。
而且最小二乘还能给出$-w_0$的分类阈值threshold，不仅仅是把数据映射到一维空间

P191 多类Fisher线性判别分析

$$\begin{array}{r}\text{y}={\text{W}}^T\text{x}\end{array}$$
类内协方差矩阵为
$$\begin{array}{r}{\text{S}}_W=\sum _{k=1}^K{\text{S}}_k\end{array}$$
其中
$$\begin{array}{rl}{\text{S}}_k& =\sum _{n\in {\mathcal{C}}_k}({\text{x}}_n-{\text{m}}_k)({\text{x}}_n-{\text{m}}_k{)}^T\\ {\text{m}}_k& =\frac{1}{N_k}\sum _{n\in {\mathcal{C}}_k}{\text{x}}_n\end{array}$$

整体协方差矩阵为
$${\text{S}}_T=\sum _{n=1}^N({\text{x}}_n-\text{m})({\text{x}}_n-\text{m}{)}^T$$

可以证明，有关系
$${\text{S}}_T={\text{S}}_W+{\text{S}}_B$$
其中
$${\text{S}}_B=\sum _{k=1}^K{N}_k({\text{m}}_k-\text{m})({\text{m}}_k-\text{m}{)}^T$$

以上是对于$\text{x}$所在空间，对于$\text{y}$所在空间类似，例如$\text{y}$ 所在空间的类内协方差矩阵为$\text{W}{S}_W{\text{W}}^T$.
所以准则为
$$J(\text{W})=Tr\{(\text{W}{\text{S}}_w{\text{W}}^T{)}^{-1}(\text{W}{\text{S}}_B{\text{W}}^T)\}$$
优化算法书中略去

P193 感知机算法

损失函数为感知机准则perceptron criterion
$$E_P(\text{w})=-\sum _{n\in \mathcal{M}}{\text{w}}^T{\varphi }_n{t}_n$$
其中$t_n\in \{+1,-1\}$. $\mathcal{M}$是分类错误的模式
利用sgd
$${\text{w}}^{(\tau +1)}={\text{w}}^{(\tau )}-\eta \nabla E_P(\text{w})={\text{w}}^{(\tau )}+\eta {\varphi }_n{t}_n$$
注意$\text{w}$的尺度不影响决策，所以直接设定$\eta =1$
感知机收敛定理perceptron convergence theorem表明如果训练数据线性可分，则一定可以在有限步内收敛

4.2 Probabilistic Generative Models

生成式模型。对于二分类
$$\begin{array}{r}p({\mathcal{C}}_1|\text{x})=\frac{p(\text{x}|{\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\text{x}|{\mathcal{C}}_1)p({\mathcal{C}}_1)+p(\text{x}|{\mathcal{C}}_2)p({\mathcal{C}}_2)}=\frac{1}{1+\exp (-a)}=\sigma (a)\end{array}$$
其中
$$a=\ln \frac{p(\text{x}|{\mathcal{C}}_1)p({\mathcal{C}}_1)}{p(\text{x}|{\mathcal{C}}_2)p({\mathcal{C}}_2)}$$

对于多分类
$$p({\mathcal{C}}_k|\text{x})=\frac{p(\text{x}|{\mathcal{C}}_k)p({\mathcal{C}}_k)}{{\sum }_{j}p(\text{x}|{\mathcal{C}}_j)p({\mathcal{C}}_j)}=\frac{\exp (a_k)}{{\sum }_j\exp (a_j)}$$
其中
$$a_k=\ln p(\text{x}|{\mathcal{C}}_k)p({\mathcal{C}}_k)$$

P198 连续型输入

对于连续情况，如果所有类的类内协方差相等，并把每类建模成高斯分布，即
$$p(\text{x}|{\mathcal{C}}_k)=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \left\{-\frac{1}{2}(\text{x}-{\mu }_k{)}^T{\Sigma }^{-1}(\text{x}-{\mu }_k)\right\}$$
则二分类可以写出
$$p({\mathcal{C}}_1|\text{x})=\sigma ({\text{w}}^T\text{x}+w_0)$$
其中
$$\begin{array}{rl}\text{w}& ={\Sigma }^{-1}({\mu }_1-{\mu }_2)\\ w_0& =-\frac{1}{2}{\mu }_1^T{\Sigma }^{-1}{\mu }_1+\frac{1}{2}{\mu }_2^T{\Sigma }^{-1}{\mu }_2+\ln \frac{p({\mathcal{C}}_1)}{p({\mathcal{C}}_2)}\end{array}$$

对于多类情况
$$a_k(\text{x})={\text{w}}_k^T\text{x}+w_{k0}$$
其中
$$\begin{array}{rl}{\text{w}}_k& ={\Sigma }^{-1}{\mu }_k\\ w_{k0}& =-\frac{1}{2}{\mu }_k^T{\Sigma }^{-1}{\mu }_k+\ln p({\mathcal{C}}_k)\end{array}$$

注意，如果类内协方差不相等，那么结果会是二次判别quadratic discriminant. 决策边界也不是线性的

P200 MLE求解

这种生成式模型可以用最大似然MLE求解。对于二分类问题
$$p(\text{t}|\pi ,{\mu }_1,{\mu }_2,\Sigma )=\prod _{n=1}^N[\pi \mathcal{N}({\text{x}}_n|{\mu }_1,\Sigma ){]}^{t_n}[(1-\pi )\mathcal{N}({\text{x}}_n|{\mu }_2,\Sigma ){]}^{1-t_n}$$
结果为
$$\begin{array}{rl}\pi & =\frac{N_1}{N_1+N_2}\\ {\mu }_1& =\frac{1}{N_1}\sum _{n=1}^N{t}_n{\text{x}}_n\\ {\mu }_2& =\frac{1}{N_2}\sum _{n=1}^N(1-t_n){\text{x}}_n\\ \Sigma & =\frac{N_1}{N}\left[\frac{1}{N_1}\sum _{n\in {\mathcal{C}}_1}({\text{x}}_n-{\mu }_1)({\text{x}}_n-{\mu }_1{)}^T\right]+\frac{N_2}{N}\left[\frac{1}{N_2}\sum _{n\in {\mathcal{C}}_2}({\text{x}}_n-{\mu }_2)({\text{x}}_n-{\mu }_2{)}^T\right]\end{array}$$
其中$N_1,N_2$是两类的样本数。多类的结果类似

P202 离散型输入

直接分析多类情况。假定有$D$维度输入，每维输入有0、1两种取值，这里做出naive Bayes假设，即任意两个输入之间是独立的，从而
$$p(\text{x}|{\mathcal{C}}_k)=\prod _{i=1}^D{\mu }_{ki}^{x_i}(1-{\mu }_{ki}{)}^{1-x_i}$$
得到
$$a_k(\text{x})=\sum _{i=1}^D\left\{x_i\ln {\mu }_{ki}+(1-x_i)\ln (1-{\mu }_{ki})\right\}+\ln p({\mathcal{C}}_k)$$
注意仍然是关于$\text{x}$的线性函数

P203 指数族分布

$$p(\text{x}|{\lambda }_k,s)=\frac{1}{s}h\left(\frac{1}{s}\text{x}\right)g({\lambda }_k)\exp \left\{\frac{1}{s}{\lambda }_k^T\text{x}\right\}$$
参考PRML读书随笔——第2章：尺度参数的无信息先验分布
此时，对于多分类$a_k(\text{x})={\lambda }_k^T\text{x}+\ln g({\lambda }_k)+\ln p({\mathcal{C}}_k)$
所以这么看的话，高斯分布其实是一种特例，可以把高斯分布中分子分母关于$\text{x}$的平方项抵消掉，把高斯分布中剩下的部分，看作是一个新的分布，只要归一化就行。

4.3 Probabilistic Discriminative Models

P206 逻辑回归

直接建模$p({\mathcal{C}}_k|\text{x})$
对于二分类
$$p({\mathcal{C}}_1|\varphi )=y(\varphi )=\sigma ({\text{w}}^T\varphi )$$
利用MLE，损失函数为交叉熵
$$-\ln p(\text{t}|\text{w})=-\sum _{n=1}^N\{t_n\ln y_n+(1-t_n)\ln (1-y_n)\}$$
求导后得到
$$\nabla E(\text{w})=\sum _{n=1}^N(y_n-t_n){\varphi }_n$$

• 该式与线性回归gd的形式是一样的！
• 极大似然的逻辑回归会过拟合（极大似然好像都会过拟合）。当数据集线性可分时，两类的$w^T\varphi$走向无穷，造成阶跃函数。如果引入MAP则可以避免

P207 迭代重加权平方Iterative reweighted least squares (IRLS)

设计用牛顿法优化。先计算Hessian矩阵
$$\text{H}={\nabla }^{2}E(\text{w})=\sum _{n=1}^N{y}_n(1-y_n){\varphi }_n{\varphi }_n^T={\Phi }^T\text{R}\Phi$$
其中$\text{R}$是对角矩阵，${\text{R}}_{nn}=y_n(1-y_n)$. 注意$\text{H}$正定.
$${\text{w}}^{(new)}={\text{w}}^{(old)}-{\text{H}}^{-1}\nabla E(\text{w})=({\Phi }^T\text{R}\Phi {)}^{-1}){\Phi }^T\text{R}\text{z}$$
其中
$$\text{z}=\Phi {\text{w}}^{(old)}-{\text{R}}^{-1}(\text{y}-\text{t})$$

注意，每次迭代，$\text{R}$要重新计算，实际上$R$可以被解释为预测值的协方差
$$\begin{array}{rl}\mathbb{E}[t]& =\sigma ({\text{w}}^T\varphi )=y\\ var[t]& =\mathbb{E}[t^2]-\mathbb{E}[t{]}^2=\sigma ({\text{w}}^T\varphi )-\sigma ({\text{w}}^T\varphi {)}^2=y(1-y)\end{array}$$

P209 多类逻辑回归

$$p({\mathcal{C}}_k|\varphi )=y_k(\varphi )=\frac{\exp (a_k)}{{\sum }_j\exp (a_j)}$$
其中
$$a_k={\text{w}}_k^T\varphi$$
求导得
$$\frac{\partial y_k}{\partial a_j}=y_k(I_{kj}-y_j)$$

利用MLE，损失函数为多类交叉熵
$$E({\text{w}}_1,...,{\text{w}}_K)=-\ln p(\text{T}|{\text{w}}_1,...,{\text{w}}_K)=-\sum _{n=1}^N\sum _{k=1}^K{t}_{nk}\ln y_{nk}$$
求导得到
$${\nabla }_{{\text{w}}_j}E({\text{w}}_1,...,{\text{w}}_K)=\sum _{n=1}^N(y_{nj}-t_{nj}){\varphi }_n$$

注意这个形式和线性回归与逻辑回归gd的形式一样的
对应IRLS算法中，Hessian矩阵满足
$${\nabla }_{{\text{w}}_k}{\nabla }_{{\text{w}}_j}E({\text{w}}_1,...,{\text{w}}_K)=-\sum _{n=1}^N{y}_{nk}(I_{kj}-y_{nj}){\varphi }_n{\varphi }_n^T$$
注意Hessian矩阵非常大，是$MK\times MK$的，其中$M$是一个类的参数个数，注意这里的Hessian矩阵仍然是半正定

P210 Probit回归

激活函数不用logistic函数，改用probit函数
$$\Phi ({\text{w}}^T\varphi )={\int }_{-\infty }^{{\text{w}}^T\varphi }\mathcal{N}(\theta |0,1)d\theta$$
称之为probit regression.

• probit function的衰减是$\exp (-x^2)$，而不是logistic function的$\exp (-x)$，所以probit regression对离群点更敏感

实际上可以通过累积分布函数CDF构造其他激活函数

P212 数据标注出错的情况

如果二分类数据集以$ϵ$的概率标错，则预测概率可以建模为
$$p(t|\text{x})=(1-ϵ)\sigma (\text{x})+ϵ(1-\sigma (\text{x}))=ϵ+(1-2ϵ)\sigma (\text{x})$$
这里$ϵ$可以是参数或超参数
这很像Label-Noise Robust Generative Adversarial Networks论文的基础版

P212 标准链接函数 Canonical link functions

线性回归、逻辑回归都是指数族分布的特例，注意这里的指数族分布是关于$t$的，和4.2节不同
$$p(t|\eta ,s)=\frac{1}{s}h(\frac{t}{s})g(\eta )\exp \left\{\frac{\eta t}{s}\right\}$$
根据第2章，有结论
$$y\equiv \mathbb{E}[t|\eta ]=-s\frac{d}{d\eta }\ln g(\eta )$$
从而$y$和$\eta$有关系，记为$\eta (y)$，而$y=f({\text{w}}^T\varphi )$
$$\ln p(\text{t}|\eta ,s)=\sum _{n=1}^N\left\{\ln g({\eta }_n)+\frac{{\eta }_n{t}_n}{s}\right\}+\text{const}$$
从而
$${\nabla }_{\text{w}}\ln p(\text{t}|\eta ,s)=\sum _{n=1}^N\left\{\frac{d}{d{\eta }_n}\ln g({\eta }_n)+\frac{t_n}{s}\right\}\frac{d{\eta }_n}{d{y}_n}\frac{d{y}_n}{d({\text{w}}^T{\varphi }_n)}\nabla ({\text{w}}^T{\varphi }_n)=\sum _{n=1}^N\frac{1}{s}\{t_n-y_n\}{\eta }^{\prime }(y_n)f^{\prime }({\text{w}}^T{\varphi }_n){\varphi }_n$$

如果$f^{-1}=\eta$，那么${\eta }^{\prime }(y_n)f^{\prime }({\text{w}}^T{\varphi }_n)=1$，注意此时，$\eta ={\text{w}}^T\varphi$. 得到
$$\nabla \ln E(\text{w})=\frac{1}{s}\sum _{n=1}^N(y_n-t_n){\varphi }_n$$
对于高斯函数$s={\beta }^{-1}$，对于逻辑回归，$s=1$

指数族函数还真是神奇啊！

4.4 The Laplace Approximation

拉普拉斯近似，可以用来近似分布。对于分布
$$p(\text{z})=\frac{1}{Z}f(\text{z})$$
可以在不知道$Z$的情况下，做出近似。方法很简单。找到极大值点
$$\nabla f({\text{z}}_0)=0$$
其对数概率的泰勒展开为
$$\ln f(\text{z})\simeq \ln f({\text{z}}_0)-\frac{1}{2}(\text{z}-{\text{z}}_0{)}^T\text{A}(\text{z}-{\text{z}}_0)$$
其中Hessian矩阵
$$\text{A}=-{\nabla }^2\ln f(\text{z}){|}_{\text{z}={\text{z}}_0}$$
从而
$$f(\text{z})\simeq f({\text{z}}_0)\exp \left\{-\frac{1}{2}(\text{z}-{\text{z}}_0{)}^T\text{A}(\text{z}-{\text{z}}_0)\right\}$$
近似分布为
$$q(\text{z})=\mathcal{N}(\text{z}|{\text{z}}_0,{\text{A}}^{-1})$$
注意$\text{A}$一定要正定，也即${\text{z}}_0$一定要是极大值点

从而，估计$Z$的方法为
$$\begin{array}{rl}Z& =\int f(\text{z})d\text{z}\\ & \simeq f({\text{z}}_0)\int \exp \left\{-\frac{1}{2}(\text{z}-{\text{z}}_0{)}^T\text{A}(\text{z}-{\text{z}}_0)\right\}d\text{z}\\ & =f({\text{z}}_0)\frac{(2\pi {)}^{M/2}}{|\text{A}{|}^{1/2}}\end{array}$$

P216 BIC准则

对于模型证据
$$p(\mathcal{D})=\int p(\mathcal{D}|\theta )p(\theta )d\theta$$
如果取$f(\theta )=p(\mathcal{D}|\theta )p(\theta )$，$Z=p(\mathcal{D})$，要拟合的分布为$p(\theta |\mathcal{D})$，则
$$\ln p(\mathcal{D})\simeq \ln p(\mathcal{D}|{\theta }_{MAP})+\ln p({\theta }_{MAP})+\frac{M}{2}\ln (2\pi )-\frac{1}{2}\ln |\text{A}|\text{\hspace{1em}(1)}$$
右侧其中后三项叫做Occam因子Occam factor，惩罚模型复杂度
如果认为参数先验非常宽，并且$\text{A}$满秩，那么可以非常粗略认为
$$\ln p(\mathcal{D})\simeq \ln p(\mathcal{D}|{\theta }_{MAP})-\frac{1}{2}M\ln N$$
其中$N$是样本数，$M$是参数量，这就是很多人都知道的贝叶斯信息准则Bayesian Information Citerion(BIC)

• 相比于AIC，BIC更严重地惩罚了模型复杂度
• 不过实际使用中，AIC和BIC虽然容易估计。但Hessian矩阵往往不满秩，导致结果不正确
• 也可以使用式（1）获得更准确地估计，在第5章神经网络中会进行讨论

4.5 Bayesian Logistic Regression

精确的贝叶斯推断很难处理，采用拉普拉斯近似. 假定
$$p(\text{w})=\mathcal{N}(\text{w}|{\text{m}}_0,{\text{S}}_0)$$
则
$$p(\text{w}|\text{t})\propto p(\text{w})p(\text{t}|\text{w})$$
其中$\text{t}=(t_1,...,t_N{)}^T$. 两边取对数得到
$$\ln p(\text{w}|\text{t})=-\frac{1}{2}(\text{w}-{\text{m}}_0{)}^T{\text{S}}_0^{-1}(\text{w}-{\text{m}}_0)+\sum _{n=1}^N[t_n\ln y_n+(1-t_n)\ln (1-y_n)]+\text{const}$$
二阶导数为
$${\text{S}}_N=-{\nabla }^2\ln p(\text{w}|\text{t})={\text{S}}_0^{-1}+\sum _{n=1}^N{y}_n(1-y_n){\varphi }_n{\varphi }_n^T$$
所以对应后验为
$$q(\text{w})=(\text{w}|{\text{w}}_{MAP},{\text{S}}_N)$$

P219 预测

进行预测时
$$\begin{array}{rl}p({\mathcal{C}}_1|\varphi ,\text{t})& =\int p({\mathcal{C}}_1|\varphi ,\text{w})p(\text{w}|\text{t})d\text{w}\simeq \int \sigma ({\text{w}}^T\varphi )q(\text{w})d\text{w}\\ & =\int \left[\int \delta (a-{\text{w}}^T\varphi )\sigma (a)da\right]q(\text{w})d\text{w}=\int \sigma (a)p(a)da\end{array}$$
其中$$p(a)=\int \delta (a-{\text{w}}^T\varphi )q(\text{w})d\text{w}$$
注意$a$是$\text{w}$的线性映射，$q$是高斯分布，所以$a$也是高斯分布
而且
$$\begin{array}{rl}{\mu }_a& =\mathbb{E}[a]=\int p(a)ada=\int q(\text{w}){\text{w}}^T\varphi d\text{w}={\text{w}}_{MAP}^T\varphi \\ {\sigma }_a^2& =var[a]=\int p(a)\{a^2-\mathbb{E}[a{]}^2\}da=\int q(\text{w})\{({\text{w}}^T\varphi {)}^2-({\text{w}}_{MAP}^T\varphi {)}^2\}d\text{w}={\varphi }^T{\text{S}}_N\varphi \end{array}$$
从而
$$p({\mathcal{C}}_1|\varphi ,\text{t})=\int \sigma (a)\mathcal{N}({\mu }_a,{\sigma }_a^2)da$$
该式无法解析解，不过可以用probit函数$\Phi (\lambda a)$近似代替$\sigma (a)$，其中${\lambda }^2=\pi /8$，这样可以求出解析解为
$$\int \Phi (\lambda a)\mathcal{N}(a|{\mu }_a,{\sigma }_a^2)da=\Phi \left(\frac{{\mu }_a}{({\lambda }^{-2}+{\sigma }_a^2{)}^{1/2}}\right)$$
再次利用近似式子，带回sigmoid函数，得到$\Phi \left(\frac{{\mu }_a}{({\lambda }^{-2}+{\sigma }_a^2{)}^{1/2}}\right)\approx \sigma (\kappa ({\sigma }^2)\mu )$，其中$\kappa ({\sigma }_a^2)=(1+\pi {\sigma }_a^2/8{)}^{-1/2}$
即
$$p({\mathcal{C}}_1|\varphi ,t)\approx \sigma (\kappa ({\sigma }_a^2){\mu }_a)$$
这和CVMLI一书的180页结论一致！

• 这里的决策边界是${\mu }_a=w_{MA}^T\varphi =0$，与MAP一致。但在远处的概率比MAP更加温和

（借一张CVMLI的图，哈哈哈）

参考文献：
[1] Christopher M. Bishop. Pattern Recognition and Machine Learning. 2006