《神经网络与深度学习》习题解答（至第七章）

部分题目的个人解答，参考了github上的习题解答分享与知乎解答。题目是自己做的，部分解答可能出错，有问题的解题部分欢迎指正。原文挂在自己的自建博客上。

第二章

2-1

直观上，对特定的分类问题，平方差的损失有上限(所有标签都错，损失值是一个有效值)，但交叉熵则可以用整个非负域来反映优化程度的程度。

从本质上看，平方差的意义和交叉熵的意义不一样。概率理解上，平方损失函数意味着模型的输出是以预测值为均值的高斯分布，损失函数是在这个预测分布下真实值的似然度，softmax损失意味着真实标签的似然度。

分类问题中的标签，是没有连续的概念的。1-hot作为标签的一种表达方式，每个标签之间的距离也是没有实际意义的，所以预测值和标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。

大部分分类问题并非服从高斯分布

根据吴恩达机器学习视频：$J(\theta )=\frac{1}{m}{\sum }_{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$，h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值，理论上这个损失函数是很有效果的，但是在实践中却又些问题，它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得很复杂，并不是凸函数，不利于优化，很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候，J的曲线就如下图所示，可以看到这个曲线是很难求出全局最小值的，稍不留神就是局部最小值。

交叉熵的公式为：$Cost(h_{\theta }(x),y)=-y\cdot log(h_{\theta }(x))+(y-1)\cdot log(1-h_{\theta }(x))$

使用交叉熵的时候就变成：

2-2

最优参数

令$[{\overline{r}}^{(n)}{]}^2=r^{(n)}$，则：
$$\begin{array}{rl}R(w)& =\frac{1}{2}\sum _{n=1}^N[{\overline{r}}^{(n)}{]}^2(y^{(n)}-w^{\top }{x}^{(n)}{)}^2\\ & =\frac{1}{2}\sum _{n=1}^N(\overline{(}r{)}^{(n)}(y^{(n)}-w^{\top }{x}^{(n)}){)}^2\\ & =\frac{1}{2}||{\overline{r}}^{\top }(y-\overline{X}w)|{|}^2\end{array}$$
损失函数对参数$w$求导：
$$\begin{array}{rl}\frac{\partial R(w)}{\partial w}& =\frac{\frac{1}{2}||{\overline{r}}^{\top }(y-\overline{X}w)|{|}^2}{\partial w}\\ & =-X\overline{r}{\overline{r}}^{\top }(y-X^{\top }w)\\ & =0\end{array}$$
于是有：$w^{\ast }=(X\overline{r}{\overline{r}}^{\top }{X}^{\top }{)}^{-1}X\overline{r}{\overline{r}}^{\top }y$

参数$r^{(n)}$

这个参数是为了对不同的数据进行加权，相当于不同数据对结果的影响程度会不同，如果某个数据比较重要，希望对其高度重视，那么就可以设置相对较大的权重，反之则设置小一点。

2-3

已知定理：$A、B$分别为$n\times m,m\times s$的矩阵，则$rank(AB)\le min\{rank(A),rank(B)\}$

$X\in {\mathbb{R}}^{(d+1)\times N}，X^T\in {\mathbb{R}}^{N\times (d+1)}$

$rank(X)=rank(X^{\top })=min((d+1),N),N<d+1$，因此$rank(X)=N$

$rank(X{X}^{\top })\le N,N=N$

2-4

$R(w)=\frac{1}{2}||y-X^{\top }w|{|}^2+\frac{1}{2}\lambda ||w|{|}^2$，$w^{\ast }=(X{X}^{\top }+\lambda I{)}^{-1}Xy$

可得：
$$\begin{array}{rl}\frac{\partial R(w)}{\partial w}& =\frac{1}{2}\frac{\partial ||y-X^{\top }w|{|}^2+\lambda ||w|{|}^2}{\partial w}\\ & =-X(y-X^{\top }w)+\lambda w\\ & =0\end{array}$$
因此有：
$$\begin{gathered} -XY+X{X}^{\top }w+\lambda w=0 \\ (X{X}^{\top }+\lambda I)w=XY \\ {w}^{\ast }=(X{X}^{\top }+\lambda I{)}^{-1}Xy \end{gathered}$$

2-5

根据题意，有：$\log p(y|X;w,\sigma )={\sum }_{n=1}^N\log N(y^{(n)}{w}^{\top }{x}^{(n)},{\sigma }^2)$

令$\frac{\partial \log p(y|X;w,\sigma )}{\partial w}=0$，因此有：
$$\begin{gathered} \frac{\partial ({\sum }_{n=1}^N-\frac{(y^{(n)}-w^{\top }{x}^{(n)}{)}^2}{2\beta })}{\partial w}=0 \\ \frac{\partial \frac{1}{2}||y-X^{\top }w|{|}^2}{\partial w}=0 \\ -X(y-X^{\top }w)=0 \end{gathered}$$
因此有：$w^{ML}=(X{X}^{\top }{)}^{-1}Xy$

2-6

样本均值

参数$\mu$在样本上的似然函数为：$p(x|\mu ,{\sigma }^2)={\sum }_{n=1}^N(x^{(n)};\mu ,{\sigma }^2)$

对数似然函数为：$\log p(x;\mu ,{\sigma }^2)={\sum }_{n=1}^N\log p(x^{(n)};\mu ,{\sigma }^2)={\sum }_{n=1}^N(\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{(x^{(n)}-\mu {)}^2}{2{\sigma }^2})$

我们的目标是找到参数$\mu$的一个估计使得似然函数最大，等价于对数自然函数最大。

令$\frac{\partial \log p(x;\mu ,{\sigma }^2)}{\partial \mu }=\frac{1}{{\sigma }^2}{\sum }_{n=1}^N(x^{(n)}-\mu )=0$，得到：${\mu }^{ML}=\frac{1}{N}{\sum }_{n=1}^N{x}^{(n)}$，即样本均值

MAP证明

参数$\mu$的后验分布：$p(\mu |x;{\mu }_0,{\sigma }_0^2)\propto p(x|\mu ;{\sigma }^2)p(\mu ;{\mu }_0,{\sigma }_0^2)$

令似然函数$p(x|\mu ;{\sigma }^2)$为高斯密度函数，后验分布的对数为：
$$\begin{array}{rl}\log p(\mu |x;{\mu }_0,{\sigma }_0^2)& \propto \log p(x|\mu ;{\sigma }^2)+\log p(\mu ;{\mu }_0,{\sigma }^2)\\ & \propto -\frac{1}{{\sigma }^2}\sum _{n=1}^N(x^{(n)}-\mu {)}^2-\frac{1}{{\sigma }^2}(\mu -{\mu }_0{)}^2\end{array}$$
令$\frac{\partial \log p(\mu |x;{\mu }_0,{\sigma }_0^2)}{\partial \mu }=0$，得到：${\mu }^{MAP}=(\frac{1}{{\sigma }^2}{\sum }_{n=1}^N{x}^{(n)}+\frac{{\mu }_0}{{\sigma }_0^2})/(\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2})$

证明完毕

2-7

$\sigma \to \infty$，${\mu }^{MAP}=\frac{1}{N}{\sum }_{n=1}^N{x}^{(n)}$

2-8

因为$f$可测量，故$\sigma$可测量，又$f$有界，有：${\mathbb{E}}_y[f^2(x)|x]=f^2(x),{\mathbb{E}}_y[yf(x)|x]=f(x)\cdot {\mathbb{E}}_y(y|x)$

$R(f)={\mathbb{E}}_x[{\mathbb{E}}_y[(y-f(x){)}^2|x]]={\mathbb{E}}_x[{\mathbb{E}}_y[y^2|x]+{\mathbb{E}}_y[f^2(x)|x]-2{\mathbb{E}}_y[yf(x)|x]]$

$R(f)={\mathbb{E}}_x[{\mathbb{E}}_y[y^2|x]+f^2(x)-2f(x){\mathbb{E}}_y[y|x]]$

由Jensen不等式：${\mathbb{E}}_y[y^2|x]\ge {\mathbb{E}}_y[y|x{]}^2$

故：$R(f)\ge {\mathbb{E}}_x[{\mathbb{E}}_y[f(x)-{\mathbb{E}}_y[y|x]]{]}^2$

故：$f^{\ast }(x)={\mathbb{E}}_{y\sim p_r(y|x)}[y]$

2-9

高偏差原因：数据特征过少；模型复杂度太低；正则化系数$\lambda$太大；

高方差原因：数据样例过少；模型复杂度过高；正则化系数$\lambda$太小；没有使用交叉验证

2-10

对于单个样本$E_D$，$f^{\ast }(x)$是常数，因此：$E_D[f^{\ast }(x)]=f^{\ast }(x)$

$$\begin{array}{rl}{E}_D[(f_D(x)-f^{\ast }(x){)}^2]& =E_D[(f_D(x)-E_D[f_D(x)]+E_D[f_D(x)]-f\ast (x){)}^2]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2+(E_D[f_D(x)]-f^{\ast }(x){)}^2+2(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+E_D[E_D[f_D(x){]}^2+(f^{\ast }(x){)}^2-2E_D[f_D(x)]f^{\ast }(x)]+2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+E_D[f_D(x){]}^2+(f^{\ast }(x){)}^2-2E_D[f_D(x)+2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+(E_D[f_D(x)]-f^{\ast }(x){)}^2+2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+(E_D[f_D(x)]-f^{\ast }(x){)}^2+2(E_D[f_D(x)]{)}^2-2E_D[f_D(x)f^{\ast }(x)]-2(E_D[f_D(x)]{)}^2+2E_D[f_D(x)f^{\ast }(x)]\\ & =E_D[(f_D(x)-E_D[f_D(x)]{)}^2]+(E_D[f_D(x)]-f^{\ast }(x){)}^2\end{array}$$

2-11

2-12

用笔算一下就OK，9

第三章

3-1

设任意$\alpha$为超平面上的向量，取两点${\alpha }_1,{\alpha }_2\in a$，则满足：
$$\{\begin{array}{l}{\omega }^{\top }{\alpha }_1+b=0\\ \\ {\omega }^{\top }{\alpha }_2+b=0\\ \end{array}$$
两式相减，得到：${\omega }^T({\alpha }_1-{\alpha }_2)=0$，由${\alpha }_1-{\alpha }_2$平行于$a$，故$\omega \perp \alpha$，即$\omega$垂直于决策边界。

3-2

设$x$投影到平面$f(x,\omega )={\omega }^{\top }x+b=0$的点为$x^{\prime }$，则：可知$x-x^{\prime }$垂直于$f(x,\omega )$，由3-1有$x-x^{\prime }$平行于$\omega$

于是有：$\delta =||x-x^{\prime }||=k||\omega ||$，又：
$$\{\begin{array}{l}f(x,\omega )={\omega }^{\top }x+b\\ \\ {\omega }^{\top }{x}_2+b=0\end{array}$$
故有：$w^T(x-x^{\prime })=f(x,\omega )$，带入$x-x^{\prime }=k\omega$有：$k||\omega |{|}^2=f(x,\omega )$

故：$\delta =\frac{|f(x,\omega )|}{||\omega ||}$

3-3

由多线性可分定义

可知：${\omega }_c{x}_1>{\omega }_{\tilde{c}}{x}_1$，${\omega }_c{x}_2>{\omega }_{\tilde{c}}{x}_2$，又$\rho \in [0,1]$，故：$\rho >0,1-\rho >0$

线性组合即有：$\rho {\omega }_c{x}_1+(1-\rho ){\omega }_c{x}_2>\rho {\omega }_{\tilde{a}}{x}_1+(1-\rho ){\omega }_{\tilde{c}}{x}_2$

3-4

对于每个类别$c$，他们的分类函数为$f_c(x;{\omega }_c)={\omega }_c^{T}x+b_c，c\in \{1,\cdots ,C\}$

因为每个类都与除它本身以外的类线性可分，所以：${\omega }_c^{\top }{x}^{(n)}>{\omega }_{\tilde{c}}^{\top }{x}^{(n)}$

因此有：${\sum }_{n=1}^N({\omega }_c^{\top }{x}^{(n)}-{\omega }_{\tilde{c}}^{\top }{x}^{(n)})>0$，即：$X^T{\omega }_c-X^T{\omega }_{\tilde{c}}>0$，故整个数据集线性可分。

3-5

从理论上来说，平方损失函数也可以用于分类问题，但不适合。首先，最小化平方损失函数本质上等同于在误差服从高斯分布的假设下的极大似然估计，然而大部分分类问题的误差并不服从高斯分布。而且在实际应用中，交叉熵在和Softmax激活函数的配合下，能够使得损失值越大导数越大，损失值越小导数越小，这就能加快学习速率。然而若使用平方损失函数，则损失越大导数反而越小，学习速率很慢。

Logistic回归的平方损失函数是非凸的：$L=\frac{1}{2}{\sum }_t(\hat{y}-y{)}^2$，$\hat{y}=\sigma ({\omega }^{T}x)$

$\frac{\partial L}{\partial \omega }={\sum }_t(\hat{y}-y_i)\frac{\partial \hat{y}}{\partial \omega }={\sum }_i(\hat{y}-y_i)\hat{y}(1-\hat{y})x_i={\sum }_i(-{\hat{y}}^3+(y_i+1){\hat{y}}^2-y_i\hat{y})x_i$

进一步地： $\frac{{\partial }^{2}L}{\partial {\omega }^2}=\sum (-3{\hat{y}}^2+2(y_i+1)\hat{y}-y_i)\frac{\partial \hat{y}}{\partial \omega }{x}_i=\sum [-3{\hat{y}}^2+2(y_i+1)\hat{y}-y_i]\hat{y}(1-\hat{y})x_i^2$

又$\hat{y}\in [0,1]，y\in 0,1$，二阶导数不一定大于零。

3-6

不加入正则化项限制权重向量的大小，可能造成权重向量过大，产生上溢。

3-7

原式中：$\overline{\omega }=\frac{1}{T}{\sum }_{k=1}^K{c}_k{\omega }_k$，又$c_k=t_{k+1}-t_k$

即：$\overline{\omega }=\frac{1}{T}{\sum }_{k=1}^K(t_{k+1}-t_k){\omega }_k$，即只需要证明算法和该式等价。

根据算法第8、9行有：${\omega }_k=y^{(n)}{x}^{(n)}$，故原算法中：$\overline{\omega }={\omega }_T-\frac{1}{T}u={\sum }_{k=1}^K{\omega }_k-\frac{1}{T}u$

又有：$u={\sum }_{k=1}^K{t}_k{\omega }_k$

故算法3.2能得到：$\overline{\omega }={\sum }_{k=1}^K(1-\frac{1}{T}{t}_k{\omega }_k)$，由算法第12行可知：$t_{k+1}=T$并带入可得到：

$\overline{\omega }=\frac{1}{T}{\sum }_{k=1}^K(T-t_k){\omega }_k=\frac{1}{T}{\sum }_{k=1}^K(t_{k+1}-t_k){\omega }_k$，证毕。

3-8

${\omega }_k={\omega }_{k-1}+\varphi (x^{(k)},y^{(k)})-\varphi (x^{(k)},z)$

因此可知：$||{\omega }_K|{|}^2=||{\omega }_{K-1}+\varphi (x^{(k)},y^{(k)})-\varphi (x^{(k)},z)|{|}^2$

即$||{\omega }_K|{|}^2=||{\omega }_{K-1}|{|}^2+||\varphi (x^{(k)},y^{(k)})-\varphi (x^{(k)},z)|{|}^2+2{\omega }_{K-1}\cdot (\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)},z))$

因为$z$为${\omega }_{K-1}$的最倾向的候选项，因此$2{\omega }_{K-1}\cdot (\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)},z))$将小于0。

故：$||{\omega }_K|{|}^2\le ||{\omega }_{K-1}|{|}^2+R^2$

迭代到最后有：$||{\omega }_K|{|}^2\le K{R}^2$，找到了上界。

再寻找下界：$||{\omega }_K|{|}^2=||{\omega }^{\ast }|{|}^2\cdot ||{\omega }_K|{|}^2\ge ||{\omega }^{\ast \top }{\omega }_K|{|}^2$

带入${\omega }_K$有：$||{\omega }_K|{|}^2\ge ||{\omega }^{\ast \top }{\sum }_{k=1}^K(\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)}.z))||$

即：$||{\omega }_K|{|}^2\ge [{\sum }_{k=1}^K⟨{\omega }^{\ast },(\varphi (x^{(n)},y^{(n)})-\varphi (x^{(n)}.z))⟩{]}^2$

根据广义线性可分有：$⟨{\omega }^{\ast }，\varphi (x^{(k)},y^{(k)})⟩-⟨{\omega }^{\ast },\varphi (x^{(k)},z)⟩\ge \gamma$

因此：$||{\omega }_K|{|}^2\ge K^2{\gamma }^2$

因此结合起来就得到了：$K^2{\gamma }^2\le K{R}^2$，即$K\le \frac{R^2}{{\gamma }^2}$，证毕

3-9

存在性证明：

因为数据集线性可分，因此该最优化问题存在可行解，又根据线性可分的定义可知目标函数一定有下界，所以最优化问题一定有解，记作：$({\omega }^{\ast },b^{\ast })$

因为$y\in \{1,-1\}$，因此$({\omega }^{\ast },b^{\ast })\ne (0,b^{\ast })$，即${\omega }^{\ast }\ne \mathbb{O}$，故分离的超平面一定存在。

唯一性证明（反证法）：

假定存在两个最优的超平面分别为${\omega }_1^{\ast }x+b=0$和${\omega }_2^{\ast }x+b=0$

因为为最优，故有：$||{\omega }_1^{\ast }||=||{\omega }_2^{\ast }||=C$，其中C为一个常数。

于是令：$\omega =\frac{{\omega }_1^{\ast }+{\omega }_2^{\ast }}{2}$，$b=\frac{b_1^{\ast }+b_2^{\ast }}{2}$，可知该解也为可行解。

于是有：$C\le ||\omega ||$，又根据范数的三角不等式性质：$\Vert |\omega ||\le \frac{||{\omega }_1^{\ast }||}{2}+\frac{||{\omega }_2^{\ast }||}{2}=C$

因此：$2||\omega ||=||{\omega }_1^{\ast }||+||{\omega }_2^{\ast }||$

又根据不等式取等号的条件可以得到：${\omega }_1^{\ast }=\lambda {\omega }_2^{\ast }$

代入可知：$\lambda =1$ （-1的解舍去，会导致$\omega =0$）

因此不存在两个超平面最优，故该超平面惟一。

证毕

3-10

$\varphi (x)=[1,\sqrt{2}{x}_1,\sqrt{2}{x}_2,\sqrt{2}{x}_1{x}_2,x_1^2,x_2^2{]}^{\top }$，$\varphi (z)=[1,\sqrt{2}{z}_1,\sqrt{2}{z}_2,\sqrt{2}{z}_1{z}_2,z_1^2,z_2^2{]}^{\top }$

故：$\varphi (x{)}^{\top }\varphi (z)=1+2x_1{z}_1+2x_2{z}_2+2x_1{x}_2{z}_1{z}_2+x_1^2{z}_1^2+x_2^2{z}_2^2=(1+（x_1{x}_2)(z_1{z}_2{)}^{\top }{)}^2$

即：$\varphi (x{)}^{\top }\varphi (z)=(1+x^{\top }z{)}^2=k(x,z)$，证毕

3-11

原问题：
$$\begin{array}{c}min\frac{1}{2}||w|{|}^2+C{\sum }_{n=1}^N{\xi }_n\\ \\ s.t.1-y_n(w^{\top }{x}_n+b)-{\xi }_n\le 0,\forall n\in \{1,\cdots ,N\}\\ \\ {\xi }_n\ge 0,\forall n\in \{1,\cdots ,N\}\end{array}$$
使用拉格朗日乘子法，可得：
$$L(w,b,\xi ,\lambda ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i(1-y_i(w^{\top }{x}_i+b)-{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
将其转化为最小最大问题：
$$\begin{array}{c}\underset{w,b,\xi }{\min }\underset{\lambda ,\mu }{\max }L(w,b,\xi ,\lambda ,\mu )\\ \\ s.t.{\lambda }_i\ge 0,\forall n\in \{1,\cdots ,N\}\end{array}$$
转化为对偶问题：
$$\begin{array}{c}\underset{\lambda ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\lambda ,\mu )\\ \\ s.t.{\lambda }_i\ge 0,\forall n\in \{1,\cdots ,N\}\end{array}$$
求解$\underset{w,b,\xi }{\min }L(w,b,\xi ,\lambda ,\mu )$如下：

令$\frac{\partial L}{\partial b}=0$，得到$\sum _{i=1}^N{\lambda }_i{y}_i=0$，带入$L$中，有：

$L(w,b,\xi ,\lambda ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^{\top }{x}_i-\sum _{i=1}^N{\lambda }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i$

令$\frac{\partial L}{\partial w}=0$，可得：$w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0$，因此：$w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$

带入$L$得到：
$$\begin{array}{rl}L(w,b,\xi ,\lambda ,\mu )& =\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j-\sum _{i=1}^N{\lambda }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i\\ & \\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+\sum _{i=1}^N(C-{\lambda }_i-{\mu }_i){\xi }_i+\sum _{i=1}^N{\lambda }_i\end{array}$$
令$\frac{\partial L}{\partial {\xi }_i}=0$，可得$C-{\lambda }_i-{\mu }_i=0$

带入$L$再次有：$L(w,b,\xi ,\lambda ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+\sum _{i=1}^N{\lambda }_i$

因此对偶问题可以为：
$$\begin{array}{c}\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+\sum _{i=1}^N{\lambda }_i\\ s.t.\sum _{i=1}^N{\lambda }_i{y}_i=0,\forall i\in \{1,\cdots ,N\}\\ C-{\lambda }_i-{\mu }_i=0,\forall i\in \{1,\cdots ,N\}\\ {\lambda }_i\ge 0,\forall i\in \{1,\cdots ,N\}\\ {\mu }_i\ge 0,\forall i\in \{1,\cdots ,N\}\end{array}$$
化简得到：
$$\begin{array}{c}\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^{\top }{x}_j+\sum _{i=1}^N{\lambda }_i\\ s.t.\sum _{i=1}^N{\lambda }_i{y}_i=0,\forall i\in \{1,\cdots ,N\}\\ 0\le {\lambda }_i\le C,\forall i\in \{1,\cdots ,N\}\end{array}$$
因此其KKT条件如下：
$$\{\begin{array}{l}{\nabla }_{w}L=w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\\ {\nabla }_{b}L=-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\\ {\nabla }_{\xi }L=C-\lambda -\mu =0\\ {\lambda }_i(1-y_n(w^{\top }{x}_n+b)-{\xi }_i)=0\\ 1-y_n(w^{\top }{x}_n+b)-{\xi }_n\le 0\\ {\xi }_i\ge 0\\ {\lambda }_i\ge 0\\ {\mu }_i\ge 0\end{array}$$

第四章

4-1

零均值化的输入，使得神经元在0附近，sigmoid函数在零点处的导数最大，所有收敛速度最快。非零中心化的输入将导致$\omega$的梯度全大于0或全小于0，使权重更新发生抖动，影响梯度下降的速度。形象一点而言，就是零中心化的输入就如同走较为直的路，而非零时七拐八拐才到终点。

4-2

题目要求有两个隐藏神经元和一个输出神经元，那么网络应该有$W^{(1)}$和$w^{(2)}$两个权重，取：
$$\begin{gathered} W^{(1)}=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right],b^{(1)}=\left[\begin{array}{c}0\\ 1\end{array}\right] \\ {w}^{(2)}=\left[\begin{array}{c}1\\ -2\end{array}\right],b^{(2)}=0 \end{gathered}$$
带入得到：
$$X=\left[\begin{array}{cccc}0& 0& 1& 1\\ 0& 1& 0& 1\end{array}\right]$$
神经元的输入与输出：

$x_1$	$x_2$	$y$
0	0	0
1	0	1
0	1	1
1	1	0

实验代码（需要tensorflow2.3）：

import numpy as np
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
#input and output
X=np.array([[0,0],[0,1],[1,0],[1,1]])
Y=np.array([[0],[1],[1],[0]])
x=tf.placeholder(dtype=tf.float32,shape=[None,2])
y=tf.placeholder(dtype=tf.float32,shape=[None,1])
#weight
w1=tf.Variable(tf.random_normal([2,2]))
w2=tf.Variable(tf.random_normal([2,1]))
#bias
b1=tf.Variable([0.1,0.1])
b2=tf.Variable(0.1)
#relu activation function
h=tf.nn.relu(tf.matmul(x,w1)+b1)
output=tf.matmul(h,w2)+b2
#loss and Adam optimizer
loss=tf.reduce_mean(tf.square(output-y))
train=tf.train.AdamOptimizer(0.05).minimize(loss)

with tf.Session() as session:
    session.run(tf.global_variables_initializer())
    
    for i in range(2000):
        session.run(train,feed_dict={x:X,y:Y})
        loss_=session.run(loss,feed_dict={x:X,y:Y})
        if i%50 == 0:
            print("step:%d,loss:%.3f"%(i,loss_))
            
    print("X:%r"%X)
    print("Pred:%r"%session.run(output,feed_dict={x:X}))

4-3

二分类的例子

二分类交叉熵损失函数为：$L(y,\hat{y})=-(y\log \hat{y}+(1-y)\log (1-\hat{y}))$

不同取值损失函数如表所示：

$y$	$\hat{y}$	$L(y,\hat{y})$
0	0	0
1	0	$+\infty$
0	1	$-\infty$
1	1	0

如果我们要损失函数尽可能小的时候，$y$为1的时候$\hat{y}$尽可能要大，$y$为0的时候$\hat{y}$尽可能要小。而在后一种情况下需要$\omega$尽可能小，因此如果更新过多，会导致样本的所有输出全部为负数，因而梯度会为0，造成权重无法更新，因而成死亡结点。

解决方法

使用Leaky ReLU、PReLU、ELU或者SoftPlus函数当作激活函数。

ReLU死亡问题数学推导

向前传播公式：$\{\begin{array}{l}z=\omega \cdot x\\ a=ReLU(z)\end{array}$

损失函数为$L$，反向传播公式为：$\{\begin{array}{l}\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial z}\\ \\ \frac{\partial L}{\partial W}=\end{array}$