《机器学习》-周志华 第三章：线性模型 读书笔记一

• 数据集$D=\{(x_1,y_1),(x_1,y_2),\cdots ,(x_m,y_m)$，其中$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(d)}),y_i\in R$。 线性模型基本形式
  $$f(x)={\omega }_1{x}_1+{\omega }_2{x}_2+\cdots +{\omega }_d{x}_d+b$$
• 矩阵表示：
  $$x_i=\left[\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ⋮\\ x_i^{(d)}\\ 1\end{array}\right]\text{或}{x}_i=\left[\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ⋮\\ x_i^{(d)}\end{array}\right]$$
  维数为$k\times 1$,其中$k=d+1$;或$d\times 1$
  $$X=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_m^T\end{array}\right]\text{或}X=\left[\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right]$$
  维数为$m\times k$或$m\times d$
  $$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$$
  维数为$m\times 1$
  $$\omega =\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ⋮\\ {\omega }_d\\ b\end{array}\right]\text{或}\omega =\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ⋮\\ {\omega }_d\end{array}\right]$$
  维数为$k\times 1$。
  线性模型：$\hat{y}={\omega }^{T}x$或$\hat{y}={\omega }^{T}x+b$
• 许多功能更强大的非线性模型可以在线性模型的基础上引入层级结构或高维映射而得
• $\omega$直观表达了个属性在预测中的重要性，因此线性模型有很好的可解释性。
• 对属性的处理：
  • 如果属性是离散属性，且属性值之间存在序列关系，可以通过连续化转为连续值
  • 如果属性间不存在序关系，如果存在k个属性值，通过onehot编码转化为k维向量

3.1 线性回归

3.1.2 只有一个属性时

线性回归：$f(x)=\omega x+b$
平方损失：$E_{(\omega ,b)}=\sum (y_i-\omega x_i-b{)}^2$

平方损失是凸函数的证明

由于书上直接写，由于$E_{(\omega ,b)}$是关于$\omega ,b$的凸函数，因此导数为零时，得到最优解。因此这里证明一下$E_{(\omega ,b)}$为什么是凸函数。

二元函数判断凹凸性：
设$f(x,y)$在区域D上具有二阶连续偏导数，记$A=f_{xx}^{\prime \prime }(x,y),B=f_{xy}^{\prime \prime }(x,y),C=f_{yy}^{\prime \prime }(x,y)$,则
(1) 在D上恒有$A>0,\text{且}AC-B^2⩾0$时，$f(x,y)$在区域D上是凸函数；
(2) 在D上恒有$A<0,\text{且}AC-B^2⩾0$时，$f(x,y)$在区域D上是凹函数；
二元凹凸函数求最大值：
设$f(x,y)$在开区域D内有连续偏导数的凸（或凹）函数，$(x_0,y_0)\in D,\text{且}{f}_x^{\prime }(x_0,y_0)=0,f_y^{\prime }(x_0,y_0)=0$，则$f(x_0,y_0)$必是$f(x,y)$在D内的最小值（或最大值）

对于损失函数$E_{(\omega ,b)}$:
$$\begin{array}{rl}\frac{\partial E}{\partial \omega }& =-\sum 2(y_i-\omega x_i-b)x_i\\ \frac{\partial E}{\partial b}& =-\sum 2(y_i-\omega x_i-b)\\ A& =\frac{{\partial }^{2}E}{{\partial }^2\omega }=2\sum x_i^2\\ B& =\frac{{\partial }^{2}E}{\partial \omega \partial b}=2\sum x_i\\ C& =\frac{{\partial }^{2}E}{{\partial }^{2}b}=2m\\ AC-B^2& =4m\sum x_i^2-4(\sum x_i{)}^2\\ & =4m\sum x_i^2-4m[\frac{1}{m}\sum x_i\sum x_i]\\ & =4m\sum x_i^2-4m[\overline{x}\sum x_i]\\ & =4m\sum x_i^2-4m[2\sum \overline{x}{x}_i]+4m\overline{x}\sum x_i\\ & =4m\sum x_i^2-4m[2\sum \overline{x}{x}_i]+4m\sum {\overline{x}}^2\\ & =4m\sum [x_i^2-2\overline{x}{x}_i+{\overline{x}}^2]=4m\sum (x_i-\overline{x}{)}^2⩾0\end{array}$$
因此损失函数$E_{(\omega ,b)}$是凸函数，一阶导数为零时为最优解。

3.1.2 多元线性回归

线性回归：$\hat{y}={\omega }^{T}x$
平方损失：$E_{(\omega ,b)}=(Y_{m\times 1}-X_{m\times k}{\omega }_{k\times 1}{)}_{1\times m}^T(Y-X\omega {)}_{m\times 1}$;

当$X^{T}X$是正定矩阵时平方损失是凸函数的证明

由于书上直接写，当$X^{T}X$是满秩矩阵或征订矩阵时，得到最优解，这其实是$E_{(\omega ,b)}$是关于$\omega ,b$的凸函数的条件。因此导数为零时，得到最优解。因此这里证明一下$E_{(\omega ,b)}$为什么是凸函数。

• 对向量一阶求导

梯度定义：设n元函数$f(x)$对自变量$x=(x_1,x_2,\cdots ,x_n{)}^T$的各分量$x_i$的偏导数$\frac{\partial f(x)}{\partial x_i}$都存在，则称函数$f(x)$在x处一阶可导，并称向量
$$\nabla f(x)=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ⋮\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]$$
为函数$f(x)$在x处的一阶导数或梯度，记为$\nabla f(x)$

• 二阶求导
  Hessian矩阵：设n元函数$f(x)$对自变量$x=(x_1,x_2,\cdots ,x_n{)}^T$的各分量$x_i$的二阶偏导数$\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}$都存在，则称函数$f(x)$在x处二阶可导，并称矩阵
  $${\nabla }^{2}f(x)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_n^2}\end{array}\right]$$
  为$f(x)$在x处的二阶导数hessian矩阵，记为${\nabla }^{2}f(x)$，若$f(x)$对x各变元的所有二阶偏导数都连续，则$\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}=\frac{{\partial }^{2}f(x)}{\partial x_j\partial x_i}$，此时${\nabla }^{2}f(x)$为对称矩阵
• 多元实值函数凹凸性判定定理：

设$D\subset R^n$是非空开凸集，函数f将n维数据映射到1维$f:D\subset R^n\to R$，且$f(x)$在D上连续可微，如果$f(x)$的hessian矩阵${\nabla }^{2}f(x)$在D上是正定的，则$f(x)$是D上的严格凸函数

• 多元凸函数最优解：

若$f:R^n\to R$是凸函数，且$f(x)$一阶连续可微，那么$\nabla f(x)=0$求解最优解。

• 几个矩阵微分公式
  $$\frac{\partial x^{T}a}{\partial x}=\frac{\partial a^{T}x}{\partial x}=a$$
  $$\frac{\partial x^{T}Bx}{\partial x}=(B+B^T)x$$

对于损失函数$E_{(\omega ,b)}=(Y-X\omega {)}^T(Y-X\omega )$
$$\begin{array}{rl}E& =(Y^T-w^T{X}^T)(Y-X\omega )\\ & =Y^{T}Y-Y^{T}X\omega -{\omega }^T{X}^{T}Y+{\omega }^T{X}^{T}X\omega \\ \nabla E& =-X^{T}Y-X^{T}Y+X^{T}X\omega +X^{T}X\omega \\ & =-2X^{T}Y+2X^{T}X\omega \\ {\nabla }^{2}E& =2X^{T}X\end{array}$$
当hessian矩阵$X^{T}X$是正定矩阵时，E是凸函数，因此用一阶导数为零求解最优解。即：
$$\nabla E=-2X^{T}Y+2X^{T}X\omega =0$$
$$\omega =(X^{T}X{)}^{-1}{X}^{T}Y$$

$X^{T}X$不满秩时

当变量的特征数目多于样本个数时，$X^{T}X$不满秩，这是可以解出多个$\omega$，都能使平方损失函数最小化。选择哪个解作为输出，将由学习算法的归纳偏好决定，最常见做法是引入正则化项。

3.2 广义线性模型

3.2.1指数分布族

指数族（exponential family）分布是一类分布的总称，该类分布的分布律/概率密度：
$$p(y;\eta )=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$

• 其中$\eta$成为该分布的自然参数，大多是实数；
• $T(y)$是充分统计量，大多数$T(y)=y$
• $a(\eta )$是配分函数，保证所有可能值的概率之和为1
• $b(y)$是关于随机变量y的函数。
• 常见的伯努利分布和正态分布都属于指数分布族

证明伯努利分布$Bernuli(\varphi ):p(y=1;\varphi )=\varphi$是指数分布族：
$$\begin{array}{rl}p(y)& ={\varphi }^y(1-\varphi {)}^{(1-y)}\\ & =exp(ln({\varphi }^y(1-\varphi {)}^{(1-y)}))\\ & =exp(y\ln \frac{\varphi }{1-\varphi }+\ln (1-\varphi ))\\ & =b(y)exp({\eta }^{T}T(y)-a(\eta ))\end{array}$$
得到
$$\begin{array}{rl}b(y)& =1\\ T(y)& =y\\ \eta & =\ln \frac{\varphi }{1-\varphi }\\ a(\eta )& =-\ln (1-\varphi )\end{array}$$

证明Gaussian分布$N(\mu ,{\sigma }^2),\sigma =1$是指数分布:
$$\begin{array}{rl}p& =\frac{1}{\sqrt{2\pi }}exp(-\frac{1}{2}(y-\mu {)}^2)\\ & =\frac{1}{\sqrt{2\pi }}exp(-\frac{1}{2}{y}^2)exp(y\mu -\frac{1}{2}{\mu }^2)\\ & =b(y)exp({\eta }^{T}T(y)-a(\eta ))\end{array}$$
得到
$$\begin{array}{rl}b(y)& =\frac{1}{\sqrt{2\pi }}exp(-\frac{1}{2}{y}^2)\\ T(y)& =y\\ \eta & =\mu \\ a(\eta )& =\frac{1}{2}{\mu }^2\end{array}$$

3.2.2广义线性模型的三条假设

• 在给定x的条件下，假设随机变量y服从某个指数族分布;$y|x;\omega \sim ExpFamily(\eta )$
• 在给定x的条件下，我们的目标是得到一个模型$h(x)$，能预测出$T(y)$的期望值 $h(x)=E(T(y)|x)$，大多数情况$T(y)=y$，指y的充分统计量
• 假设该指数族分布中的自然参数$\eta ,x$呈线性关系，即$\eta ={\omega }^{T}x$

3.3 对数几率回归(logistic regression)

为二分类模型，$y<0.5$时，分类为负类；$y>0.5$时，分类为正类
$$y=\frac{1}{1+e^{-z}}$$
$$ln\frac{y}{1-y}={\omega }^{T}x$$
其中y是样本x作为正例的可能性，$\frac{y}{1-y}$成为几率(odds)，反应x作为正例的相对可能性。

3.3.1用logit变换解释模型

• 假设$P(Y=1|X)=\pi (x)$，则$\pi (x)$取值范围为[0-1].我们希望用线性表达$w\cdot x$来表示概率分布。
• 对$\pi (x)$做logit变换
  $$logit(\pi (x))=log\frac{\pi (x)}{1-\pi (x)}=w\cdot x$$
  将取值范围为[0-1]的$\pi (x)$函数，变换为取值范围为$[-\infty ,+\infty ]$的$w\cdot x$线性函数
• 得到
  $$P(Y=1|X)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$$
• 线性函数值越接近$+\infty$，概率值越接近1； 线性函数值越接近$-\infty$，概率值越接近0

3.3.2用广义线性模型解释模型

二分类问题回归，y 取值0或1。假设y服从伯努利分布，考虑用广义线性模型预测给定x的条件下y的取值。

• 广义线性模型第一条假设：在给定x的条件下，假设随机变量y服从某个指数族分布;$y|x;\omega \sim ExpFamily(\eta )$

已知y服从伯努利分布，而伯努利分布属于指数族分布，因此满足第一条

• 广义线性模型第二条假设：在给定x的条件下，我们的目标是得到一个模型$h(x)$，能预测出$T(y)$的期望值 $h(x)=E(T(y|x))$，大多数情况$T(y)=y$，指y的充分统计量

对于伯努利分布，$T(y)=y$，因此
$$\begin{array}{rl}T(y|x)& =T(y)=y\\ h(x)& =E(T(y|x))=E(y)=p(y=1)\\ & =\varphi \end{array}$$

• 广义线性模型第二条假设：假设该指数族分布中的自然参数$\eta ,x$呈线性关系，即$\eta ={\omega }^{T}x$

由于伯努利分布中
$$\begin{array}{rl}\eta & =\ln \frac{\varphi }{1-\varphi }\\ \varphi & =\frac{1}{1+e^{-\eta }}\\ h(x)& =\varphi =\frac{1}{1+e^{-\eta }}=\frac{1}{1+e^{-w^{T}x}}\end{array}$$`

3.3.3 梯度下降求解

模型
$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
取值永远在0-1之间，代表概率。
$$\begin{array}{rl}g(z)& =\frac{1}{1+e^{-x}}\\ g\prime (z)& =g(z)(1-g(z))\end{array}$$
$$\begin{array}{rl}p(y|x;\theta )& =h(\theta {)}^y(1-h(\theta {)}^{(1-y)}\\ l(\theta )& =\prod _i^{m}h(\theta {)}^{y_i}(1-h(\theta ){)}^{(1-y_i)}\end{array}$$
下面极大似然估计
$$\begin{array}{rl}L(\theta )& =\sum _i^m[y_i\log h(\theta )+(1-y_i)\log (1-h(\theta ))]\\ \frac{\partial L}{\partial \theta }& =\sum _i^m[y^{(i)}\frac{h\prime (\theta )x_i}{h(\theta )}-(1-y_i)\frac{h\prime (\theta )x_i}{1-h(\theta )}]\\ & =\sum _i^m[y_i(1-h(\theta ))x_i-(1-y_i)h(\theta )x_i]\\ & =\sum _i^m(y_i-h(\theta ))x_i\end{array}$$
梯度上升
$$\theta \to \theta +\alpha \frac{\partial L}{\partial \theta }$$

3.3.4 牛顿法求解

目标函数，最小化L:
$$L(\theta )=-\sum _i^m[y_i\log h(\theta )+(1-y_i)\log (1-h(\theta ))]$$
想要求解$f(\theta )=\frac{\partial L}{\partial \theta }=0$的值。
取初始值后，下一轮循环参数的取值：
$${\theta }^{t+1}={\theta }^t-\frac{f(\theta )}{f^{\prime }({\theta }^t)}$$
即
$${\theta }^{t+1}={\theta }^t-(\frac{{\partial }^{2}L}{{\partial }^2\theta }{)}_{{\theta }^t}^{-1}\frac{\partial L}{\partial \theta }$$
其中
$$\frac{\partial L}{\partial \theta }=-\sum _i^m(y_i-h(\theta ))x_i$$
$$\frac{{\partial }^{2}L}{{\partial }^2\theta }=\sum _i^{m}h(\theta )(1-h(\theta ))x_i^2$$