【机器学习】线性分类【上】广义线性模型

主要参考了B站UP主“shuhuai008”，包含自己的理解。
有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成两篇博客。
【机器学习】线性分类【上】广义线性模型
【机器学习】线性分类【下】经典线性分类算法

1. 线性模型

线性模型不仅包括线性回归模型，还包括方差分析模型等，但这里我们仅讨论线性回归，所以统一认为线性模型就是线性回归模型。

在《线性回归》中提到，线性回归模型的定义为
$$f(x)=w_0+w_1{x}_1+\cdots +w_p{x}_p\text{\hspace{1em}(1)}$$
但其实，式 $(1)$ 只是线性回归中的一个特例。总结 Wikipedia 的解释，只要模型参数满足线性组合，那么就认为是线性回归。比如
$$f(x)=w_0+w_1{x}_1^2{x}_2+w_2\log (x_2)\text{\hspace{1em}(2)}$$
也属于线性回归。因为我们完全可以认为自变量并非 $x$，而是 $t=\{t_1,t_2\}$，其中 $t_1=x_1^2{x}_2$，$t_2=\log (x_2)$，因此式 $(2)$ 可以重新表示为
$$f(t)=w_0+w_1{t}_1+w_2{t}_2\text{\hspace{1em}(3)}$$
所以说，Wikipedia 也提到多项式回归也是线性回归的特例。根据自变量的个数和次数，多项式回归又可以称为 $n$元$m$次多项式回归，不作为重点讲解。

要想与机器学习领域融合，我们不得不先区分一下“线性函数”与“线性回归”。对线性函数而言，我们是视角是自变量，如果函数是自变量的线性组合，则为线性函数；而对于线性回归而言，我们的视角是模型参数，如果是关于模型参数的线性组合，则为线性回归。这就是式 $(2)$ 仍被称为线性回归的原因。

在机器学习中，$x$ 是样本的直接特征，是已知信息。在训练模型参数前，我们就可以将直接特征 $x$ 转换为 $t$，再将 $t$ 作为样本特征进行训练。对于式 $(2)$ 和 $(3)$，在二维平面中直接绘制关于 $x$ 的回归曲线肯定非线性，但是如果绘制关于 $t$ 的回归曲线则是线性的。

当然，也可以认为式 $(1)$ 是标准的线性回归，式 $(2)$ 为线性回归的简单推广。从式 $(2)$ 的角度来看，确实具有了非线性的特点，但是在机器学习中，其本质还是式 $(3)$，满足线性的特点。

2. 广义线性模型

广义线性模型（Generalized Linear Model，GLM）是对（狭义）线性模型的推广，表示一类线性模型。由于线性回归只能解决非常简单的问题，而且对于分类和计数问题是无法处理的。很自然的一个思路是，对线性函数中的因变量 $y$ 值找一个非线性函数上的映射 $g(y)$，将线性函数的取值从连续值映射到想要的范围内。我们不再直接对 $y$ 进行线性预测，而是对 $g(y)$ 进行线性预测，即
$$g(y)=w_0+w_1{x}_1+\cdots +w_p{x}_p$$
或
$$y=g^{-1}(w_0+w_1{x}_1+\cdots +w_p{x}_p)$$
其中，$g(\cdot )$ 在 GLM 中被称为连接函数（link function）。

特别地，当 $g(y)=y$ 时，该模型为线性回归模型；当 $g(y)=\ln y$ 时，该模型为对数线性模型；当 $g(y)=\ln \frac{y}{1-y}$ 时，该模型为对数几率模型，也就是我们熟知的逻辑回归模型，对数几率模型扩展后可以得到 softmax 回归模型。

并不是任何函数都可以作为连接函数，连接函数究竟有哪些选择？以及，在机器学习中，模型最终要用于预测，如何利用训练好的模型参数根据输入 $x$ 预测得到 $y$，也就是预测函数是什么，这又是一个问题？

2.1. 指数分布族

介绍 GLM 之前，先将会用到的指数分布族的相关概念简单介绍一下。

指数分布族代表一类分布，统一的公式表示为
$$f(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta ))\text{\hspace{1em}(4)}$$
确定了 $a(\cdot )$、$b(\cdot )$ 和 $T(\cdot )$，那么 $y$ 只与 $\eta$ 有关，就定义了一个以 $\eta$ 为参数的分布。属于指数分布族的常见分布有，伯努利分布、泊松分布、多种类分布、多项分布、正态分布等等。

详细学习“指数分布族”的相关知识请移步：REF [11] 。

2.2. 广义线性模型

广义线性模型基于三个假设，也可以理解为三个设计决策，这三个决策帮助我们构建广义线性模型：

① $y\mid x;\theta \sim \mathrm{E}\mathrm{x}\mathrm{p}\mathrm{F}\mathrm{a}\mathrm{m}\mathrm{i}\mathrm{l}\mathrm{y}(\eta )$：$y$ 的先验分布属于指数分布族中的某一个分布。

② $h(x)=E(T(y)\mid x)$：预测函数 $h(x)$ 为 $T(y)$ 的条件期望，亦将 $T(y)$ 的条件期望作为模型预测值。

③ $\eta ={\theta }^{T}x$：线性关系。

获取连接函数 $g(\cdot )$ 与预测函数 $h(\cdot )$ 的过程重合，获取到了 $g$ 也就相当于确定了 $h$ 。获取两个函数的过程大致如下：

已知 $y$ 服从均值为 $\mu$ 的确定分布 $D$，$D$ 属于指数分布族。将分布的概率质量函数（离散）或概率密度函数（连续）转化为指数形式后，与式 $(4)$ 中的对应项建立等式关系即可确定 $a(\cdot )$ 关于 $\eta$ 的表达式以及 $b(\cdot )$ 关于 $y$ 的表达式。同时式 $(4)$ 中的 ${\eta }^T$ 项也会有对应项，由此可以确定 $\eta$ 与分布 $D$ 参数 $\lambda$ 的关系，不妨记为 $\lambda =f_1(\eta )$；而分布 $D$ 的均值 $\mu$ 可以由分布参数 $\lambda$ 表示（比如伯努利分布 $B(1,p)$ 的均值为 $p$，泊松分布 $P(\lambda )$ 的均值为 $\lambda$，高斯分布 $N(\mu ,\sigma )$ 的均值为 $\mu$），不妨记为 $\mu =f_2(\lambda )$，合并得到 $\mu =f_2(f_1(\eta ))$，重新记为 $\mu =f(\eta )$。GLM 中一般取 $T(y)=y$，根据假设 ② 可得预测函数 $h(x)=E(y\mid x)$。前面提到 $\mu$ 为均值，那么 $h(x)=E(y\mid x)=\mu$，所以 $h(x)=f(\eta )=f({\theta }^{T}x)$ 。由于关系 $f_1$ 和 $f_2$ 均已知，所以 $f$ 也已知，故预测函数 $h$ 可求，且 $f^{-1}$ 就是连接函数 $g$ 。

当然，即使 $T(y)\ne y$，我们也是可以根据期望的定义计算出期望的。

---

关于伯努利分布、二项分布、多类别分布和多项分布：

抛一次硬币，正面朝上的概率，这是伯努利分布；抛 $n$ 次硬币，正面朝上出现了 $m$ 次的概率，这是二项分布。

伯努利分布（Bernoulli Distribution） $\to$ 二项分布（Binomial Distribution）

抛一次骰子，第 k 面朝上的概率，这是多类别分布；抛 $n$ 次骰子， 第 $1$ 面朝上出现了 $m_1$ 次，第 $2$ 面朝上出现了 $m_2$ 次 … 第 $K$ 面朝上出现了 $m_K$ 次的概率，这是多项分布。

多类别分布（Categorical Distribution） $\to$ 多项分布（Multinomial Distribution）

概率质量函数（Probability Mass Function，PMF）如下。

伯努利分布：
$$\begin{gathered} P(X=x\mid \theta )={\theta }^x(1-\theta {)}^{1-x} \\ x\in \{0,1\} \end{gathered}$$
二项分布：
$$\begin{gathered} P(X=m\mid \theta ,n)=\left(\begin{array}{c}n\\ m\end{array}\right){\theta }^m(1-\theta {)}^{n-m} \\ m\in \{0,1,2,\dots ,n\} \\ \left(\begin{array}{c}n\\ m\end{array}\right)=\frac{n!}{m!(n-m)!} \end{gathered}$$
多类别分布：
$$\begin{gathered} P(X=x_k\mid {\theta }_1,{\theta }_2,\dots ,{\theta }_K)=\prod _{k=1}^K{\theta }_k^{x_k} \\ \sum _{k=1}^K{\theta }_k=1 \\ {x}_k\in \{0,1\},\sum _{k=1}^K{x}_k=1 \end{gathered}$$
多项分布：
$$\begin{gathered} P(X_1=m_1,X_2=m_2,\dots ,X_K=m_K\mid {\theta }_1,{\theta }_2,\dots ,{\theta }_K,n)=\frac{n!}{m_1!m_2!\dots m_K!}\prod _{k=1}^K{\theta }_k^{m_k} \\ \sum _{k=1}^K{\theta }_k=1 \\ \sum _{k=1}^K{m}_k=n \end{gathered}$$

单纯描述过程还是过于抽象，下面将对我们最熟悉的逻辑回归和 softmax 回归推导连接函数（或预测函数）。

2.2.1. logistics

逻辑回归的 sigmoid 函数是符合 GLM 的伯努利分布的连接函数的反函数，即 sigmoid 函数将线性函数映射到伯努利分布的期望。

伯努利分布的概率质量函数可以写为

$$P(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}$$

其中，$y\in \{0,1\}$，$\varphi$ 表示 $y=1$ 的概率。转化成指数形式为

$$\begin{array}{rl}P(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp (\log {\varphi }^y(1-\varphi {)}^{1-y})\\ & =\exp (y\log \varphi +(1-y)\log (1-\varphi ))\\ & =\exp (y\log \frac{\varphi }{1-\varphi }+\log (1-\varphi ))\end{array}$$

与式 $(4)$ 相对应可得
$$\begin{array}{rl}b(y)& =1\\ T(y)& =y\\ a(\eta )& =-\log (1-\varphi )\\ \eta & =\log \frac{\varphi }{1-\varphi }\end{array}$$
伯努利分布的期望为 $E(y\mid x)=0\times P(0)+1\times P(1)=\varphi$，所以预测函数 $h(x)=E(T(y)\mid x)=\varphi$。根据上面 $\eta =\log \frac{\varphi }{1-\varphi }$ 可得 $\varphi =\frac{1}{1+\exp (-\eta )}$，因此 $h(x)=\frac{1}{1+\exp (-\eta )}=\frac{1}{1+\exp ({\theta }^{T}x)}$，对应的连接函数为 $g(x)=\log \frac{x}{1-x}$ 。可见，此时的预测函数 $h$ 就是熟知的逻辑回归函数。

2.2.2. softmax

多种类分布的概率质量函数可以写为
$$P(y;\varphi )=\prod _{i=1}^k{\varphi }_i^{1\{y=i\}}\text{\hspace{1em}(5)}$$
其中，$1\{y=\cdot \}$ 的作用类似于艾弗森括号，即括号内为真返回 $1$，否则返回 $0$。对于式 $(5)$ 满足 $1\{y=i\}\in \{0,1\}$ 且 ${\sum }_{i=1}^{k}1\{y=i\}=1$ 。

为了处理方便，将式 $(5)$ 第 $k$ 类与前 $k-1$ 类分开处理，得
$$\begin{array}{rl}P(y;\varphi )& =\prod _{i=1}^{k-1}{\varphi }_i^{1\{y=i\}}\cdot {\varphi }_k^{1\{y=k\}}\\ & =\prod _{i=1}^{k-1}{\varphi }_i^{1\{y=i\}}\cdot {\varphi }_k^{1-{\sum }_{j=1}^{k-1}1\{y=j\}}\end{array}\text{\hspace{1em}(6)}$$
将式 $(6)$ 转换为指数形式为
$$\begin{array}{rl}P(y;\varphi )& =\prod _{i=1}^{k-1}{\varphi }_i^{1\{y=i\}}\cdot {\varphi }_k^{1-{\sum }_{j=1}^{k-1}1\{y=j\}}\\ & =\exp (\sum _{i=1}^{k-1}1\{y=i\}\log {\varphi }_i+(1-\sum _{i=1}^{k-1}1\{y=i\})\log {\varphi }_k)\\ & =\exp (\sum _{i=1}^{k-1}1\{y=i\}\log \frac{{\varphi }_i}{{\varphi }_k}+\sum _{i=1}^{k-1}\log {\varphi }_k)\end{array}\text{\hspace{1em}(7)}$$
式 $(7)$ 中的求和项 ${\sum }_{i=1}^{k-1}1\{y=i\}\log \frac{{\varphi }_i}{{\varphi }_k}$ 可以表示为内积的形式。不妨假设与式 $(4)$ 相对应的 $\eta$ 和 $T(y)$ 应该均为第 $k$ 维为 $0$ 的 $k$ 维列向量，即
$$\begin{array}{rl}b(y)& =1\\ T(y)& =\left(\begin{array}{c}1\{y=1\}\\ 1\{y=2\}\\ ⋮\\ 1\{y=k-1\}\\ 0\end{array}\right)\\ a(\eta )& =-\log ({\varphi }_k)\\ \eta & =\left(\begin{array}{c}\log \frac{{\varphi }_1}{{\varphi }_k}\\ \log \frac{{\varphi }_2}{{\varphi }_k}\\ ⋮\\ \log \frac{{\varphi }_{k-1}}{{\varphi }_k}\\ 0\end{array}\right)\end{array}$$
因此 ${\eta }_i=\log \frac{{\varphi }_i}{{\varphi }_k}$，特别地，${\eta }_k=\log \frac{{\varphi }_k}{{\varphi }_k}=0$。所以有 $\frac{{\varphi }_i}{{\varphi }_k}=\exp ({\eta }_i)$，对等式两侧同时求和，得
$$\sum _{i=1}^k\frac{{\varphi }_i}{{\varphi }_k}=\frac{1}{{\varphi }_k}=\sum _{i=1}^k\exp ({\eta }_i)$$
因此 ${\varphi }_k=\frac{1}{{\sum }_{i=1}^k\exp ({\eta }_i)}=\frac{\exp ({\eta }_k)}{{\sum }_{i=1}^k\exp ({\eta }_i)}$。对于 $i\ne k$ 的情况，根据等式 $\frac{{\varphi }_i}{{\varphi }_k}=\exp ({\eta }_i)$，可得 ${\varphi }_i=\frac{\exp ({\eta }_i)}{{\sum }_{j=1}^k\exp ({\eta }_j)}$。故统一表示为 ${\varphi }_i=\frac{\exp ({\eta }_i)}{{\sum }_{j=1}^k\exp ({\eta }_j)}$，记 $\varphi =(\begin{array}{ccc}{\varphi }_1& {\varphi }_2& \dots {\varphi }_k\end{array}{)}^T$。

根据 $h(x)=E(T(y)\mid x)$ 可得预测为第 $t(t\in \{1,2,\dots ,k\})$ 类的期望为
$$h(x)=E(T(y)\mid x)=T(y{)}^T\varphi ={\varphi }_t=\frac{\exp ({\theta }_t^{T}x)}{{\sum }_{i=1}^k\exp ({\theta }_i^{T}x)}$$
这与我们熟悉的 softmax 函数一致。

连接函数与预测函数的关系：

连接函数的反函数 $g^{-1}$ 是关于 $\eta$ 的函数，而预测函数 $h$ 是关于 $x$ 的函数，所以可以认为 $h$ 是内函数为 $\eta ={\theta }^{T}x$，外函数为 $g^{-1}$ 的复合函数。

2.3. 特点

如何理解广义线性模型的“线性”？

我认为从其假设可以看到 $\eta ={\theta }^{T}x$ 表达了线性信息，但是不够直观。不妨从分类角度更加直观地理解线性，我们知道 GLM 预测到的是被分为某一类的概率，最高概率对应的类为预测确定的类。通过查看 Wikipedia 中各个指数分布族中的分布对应的连接函数发现，这些连接函数的反函数都是单调函数，这说明要么选最大 $\eta ={\theta }^{T}x$ 对应的类，要么选最小 $\eta$ 对应的类，可见本质依然是根据线性组合值进行分类。更直观地表示在二维平面上，判断每个点的类别就会发现，类与类之间由直线（线性超平面）隔开，这无疑是 GLM 线性特点最直观的体现。

但是需要注意，模型参数 ${\theta }_i$ 对应的超平面并非类间超平面。对于多分类而言，往往二者之间没有直观上能理解的关系；对于二分类而言，二者平行。

我们可以尝试在二维平面中绘制 logistics 二分类图像和 softmax 多分类图像，也可以说明我们的观点是合理的。

很多同学会感性地认为，模型参数对应的超平面之间区域的样本为相同类别，其实这种理解是错误的。出现这个问题的原因在于，我们无法保证 ${\theta }_1$ 和 ${\theta }_2$ 对应的超平面之间区域的全部样本都满足 ${\theta }_1^{T}x>{\theta }_2^{T}x$ 或者 ${\theta }_1^{T}x<{\theta }_2^{T}x$ 。仅对于两个相交的模型参数超平面而言，往往类间超平面更可能被夹在两个超平面之间，比如图 $1$ softmax 子图中右侧红、蓝两线之间的类间分界线。注意，这是在没有其他模型参数超平面影响的前提下，大致有这样的规律，超平面一多，影响因素过多，不好讨论。

图 1    二分类(左)和多分类(右)的权重对应超平面(直线)和类间超平面(区域边界)

我当时不禁思考，本质上 GLM 比较的是 $\theta^Tx$ 的大小，如果 $\theta$ 相同，那么无论采用哪种 GLM 都会将样本分到相同的类别，选用不同的 GLM 的意义在哪？

确实，在 $\theta$ 相同的前提下，每种具体的 GLM 对应的分类结果是完全相同的；但问题就出在，每种 GLM 训练出的参数 $\theta$ 几乎不可能完全相同，因为它们采用了不同的联系函数，也正是因为联系函数的不同，使得模型更加多样、能更加适应不同的场景。模型参数 $\theta$ 的不同保证了每个模型对应的类间边界不是完全相同的，但都是线性。