神经网络 面试相关整理

其他面试整理在这里

基本概念

损失函数

1. 损失函数，代价函数和目标函数
   1）损失函数：通常是针对单个训练样本而言，给定一个模型输出 $y_i^{\prime }$ 和一个真实标签 $y_i$，损失函数输出一个实值损失 $L=f(y_i,y_i^{\prime })$
   2）代价函数 Cost Function 通常是针对整个训练集（或一个batch）的总损失 $J={\sum }_{i=1}^{n}f(y_i,y_i^{\prime })$
   3）目标函数是一个更通用的术语，表示任意希望被优化的函数，用于机器学习领域和非机器学习领域
2. 常见的损失函数

名称	损失函数	导数
欧氏距离	$L=\frac{1}{2n}{\sum }_{i=1}^n\Vert y_i^{\prime }-y_i{\Vert }^2$	${\nabla }_{y^{\prime }}L=\frac{1}{n}{\sum }_{i=1}^n(y_i^{\prime }-y_i)$
均方误差	$L=\frac{1}{n}{\sum }_{i=1}^n(y_i-y_i^{\prime }{)}^2$	${\nabla }_{y^{\prime }}L=\frac{2}{n}{\sum }_{i=1}^n(y_i^{\prime }-y_i)$
softmax	$$\begin{gathered} y_i^{\prime }=\frac{\exp (x_i)}{{\sum }_{j=1}^k\exp (x_j)} \\ L=-\frac{1}{n}{\sum }_{i=1}^n{y}_i^T\ln y_i^{\prime } \end{gathered}$$	${\nabla }_{x}L=\frac{1}{n}(y_i^{\prime }-y_i)$
sigmoid	$$\begin{gathered} p_i^{\prime }=\frac{1}{1+e^{-x_i}} \\ L=-\frac{1}{n}{\sum }_{i=1}^n(p_i\ln p_i^{\prime }+(1-p_i)\ln (1-p_i^{\prime })) \end{gathered}$$	$\frac{\partial L}{\partial x_i}=\frac{1}{n}(p_i^{\prime }-p_i)$
hinge loss	$L=\frac{1}{n}{\sum }_{i=1}^n{\sum }_{j=1}^k(\Vert \max (0,1-\delta \{l_i=j\}{t}_{ij}){\Vert }^p$	$\frac{\partial L}{\partial t_{ij}}=\{\begin{array}{c}-\frac{1}{n}\delta \{l_i=j\}\\ 0\end{array}$
hinge loss(另一种表达）	$L(y,y^{\prime })=\frac{1}{n}{\sum }_{i=1}^n\max (0,1-y_i{y}_i^{\prime })$

3. 为什么分类问题中不采用均方差损失
   因为分类任务不满足误差服从高斯分布的假设
4. hinge loss的特点
   1）hinge loss一般用于二分类，且分类标签为 -1/1
   2）一般预测值，在-1到1之间， 并不鼓励分类器过度自信，让某个正确分类的样本距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的误差
   3）健壮性相对较高，对异常点、噪声不敏感，但它没太好的概率解释。
5. sigmoid和softmax的关系
   当处理二分类问题时候，softmax退化为sigmoid
6. MAE和MSE的区别
   1）MAE（平均绝对值误差），MSE（均方误差）
   2）均方误差损失可以更快地收敛：MSE的梯度的 scale 会随误差大小变化，而MAE的梯度的 scale 则一直保持为 1，即便在绝对误差很小的时候 MAE 的梯度 scale 也同样为 1
   3）绝对值损失对于异常值更加健壮：当数据中出现一个误差非常大的异常值时，MSE 会产生一个非常大的损失，对模型的训练会产生较大的影响

激活函数

1. 常见的激活函数

名称	激活函数	导数	特点
sigmoid	$f(x)=\frac{1}{1+\exp (-x)}$	$f^{\prime }(x)=f(x)(1-f(x))$	将输入变换为0和1之间的输出，特别地，非常大的负数输出为0；非常大的正数输出为1
tanh	$f(x)=\frac{\exp (2x)-1}{\exp (2x)+1}$	$f^{\prime }(x)=1-f^2(x)$	负输入将被强映射为负，而零输入被映射为接近零
ReLU	$f(x)=max(0,x)$	$f^{\prime }(x)=\{\begin{array}{c}1，x>0\\ 0，x\le 0\end{array}$
BNLL	$f(x)=\ln (1+\exp (x))$	$f^{\prime }(x)=\frac{\exp (x)}{1+\exp (x)}$

2. relu的优缺点
   优点
   1） 解决了梯度消失问题
   2）计算速度非常快
   3）收敛速度远快于sigmoid和tanh
   缺点
   1）ReLU的输出不是zero-centered
   2）Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。
3. tanh的缺点
   1）梯度消失
   2）包含幂运算
4. sigmoid的缺点
   1）容易导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。当权值初始化为 $[0,1]$ 之间的随机值出现梯度消失现象；当网络权值初始化为 $(1,\infty )$ 区间内的值，则会出现梯度爆炸情况。
   2）Sigmoid 的 output 不是0均值。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 这样在反向传播的过程中权重的更新会有捆绑效果（同时向正/负方向更新），使得收敛缓慢。
   3）解析式中含有幂运算，计算机求解时相对来讲比较耗时。
5. softmax的计算公式
6. 为什么softmax使用指数函数
   为了让“概率值”为正
7. 激活函数有什么作用
   让神经网络能处理非线性情况
8. 激活函数的误差传播公式
   $${\delta }^{(l)}={\delta }^{(l+1)}\odot f^{\prime }(u)$$

批归一化

1. 批归一化（batch normalization）公式
   $$x^{\prime }=\frac{x-E(x)}{\sqrt{Var(x)}}$$
2. 批归一化的正向传播流程
   假设输入的批量数据为 $B=\{x_1,x_2,\dots ,x_m\}$，训练参数有缩放参数 $\gamma$ 和平移参数 $\beta$
   1）计算均值
   $${\mu }_B=\frac{1}{m}\sum _{i=1}^m{x}_i$$
   2）计算方差
   $${\sigma }_B^2=\frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_B{)}^2$$
   3）归一化
   $$x_i^{\prime }=\frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$$
   4）数据的缩放和平移
   $$y_i=\gamma x_i^{\prime }+\beta$$
3. 测试过程中批归一化的均值&方差计算
   测试阶段由于每次只针对一个样本进行预测，因此没办法计算“mini-batch”的均值和方差，所以使用训练时的均值和方差
   均值为
   $$E[x]=E_B[{\mu }_B]$$
   方差为
   $$Var[x]=\frac{m}{m-1}{E}_B[{\sigma }_B^2]$$
4. 批归一化的反向传播
   就是传播更新缩放参数 $\gamma$ 和平移参数 $\beta$
5. 批归一化的特性
   让数据具有0均值和单位方差
6. 批归一化的作用
   神经网络更新参数的时候，会导致后一层的输入数据的分布不断发生变化，因此在训练时候每一次迭代，每一层都要适应新的输入数据的分布，批归一化可以对前一层的输入数据进行批量归一化，然后送入下一层进行处理，从而加速神经网络的训练过程
7. 批归一化的好处
   1）解决了ICS（内部协变量漂移）现象（作用中提到的适应新分布）
   2）解决了梯度消失
   3）减小了对于学习率和初始化的依赖
   4）引入了一定的泛化效果。

优化器

1. 有哪些优化器
   1）基于一阶导：最速下降法（梯度下降）/ SGD（随机梯度下降）/ AdaGrad / Adam / RMSProp / Momentum
   2）基于二阶导：牛顿法 / 拟牛顿法

2. AdaGrad简述
   目标：自适应地为各个参数分配不同学习率的算法。赋予更新频繁的梯度以较小的学习率，赋予更新不频繁的梯度以较大的学习率。
   是梯度下降法最直接的改进，根据前几轮迭代的历史梯度值动态调整学习率，且优化向量的每一个分量都有自己的学习率下式中 $\alpha$ 是学习因子，$g_t$ 是第 $t$ 次迭代参数的梯度向量， $ϵ$ 是一个很小的正数，下标 $i$ 表示响亮的分量
   $$(x_{t+1}{)}_i=(x_t{)}_i-\alpha \frac{(g_t{)}_i}{\sqrt{{\sum }_{j=1}^t((g_j{)}_i{)}^2+ϵ}}$$
   历史数据绝对值越大，分量学习率越小。

3. AdaGrad的缺点
   虽然实现了自适应学习率，但是需要人工设置全局的学习率 $\alpha$，而且随着时间的积累，分母会越来越大，导致学习率趋向于0，参数无法有效更新

4. AdaGrad和标准梯度下降（最速下降）的区别
   多出了分母，累积了到本次迭代为止梯度的历史信息用于生成梯度下降的系数值

5. RMSProp算法
   对AdaGrad进行了改进，避免了长期积累梯度值导致的学习率趋向于0的问题。具体做法是由梯度值构造一个向量RMS，初始化为0，按照衰减系数累积了历史梯度平方值，$\delta$ 为人工设定的超参数，RMS更新公式为
   $$RMS((x_t{)}_i)=\delta RMS((x_{t-1}{)}_i)+(1-\delta )(g_t{)}_i^2$$
   RMSProp将历史梯度平方值按照 ${\delta }^t$ 衰减之后再累加，参数更新公式为
   $$(x_{t+1}{)}_i=(x_t{)}_i-\alpha \frac{(g_t{)}_i}{\sqrt{RMS((x_t{)}_i)}}$$

6. 最速下降法的缺点
   1）靠近极小值时收敛速度减慢
   2）直线搜索时可能会产生一些问题
   3）可能会“之字形”地下降

7. 牛顿法和最速下降法的区别
   牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。
   牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。
   从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。

8. 牛顿法
   基于当前位置的切线来确定下一次的位置

9. 牛顿法的缺点
   牛顿法每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂

10. 牛顿法的改进
    拟牛顿法：拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

11. SGD（随机梯度下降）
    当小批量所含的训练样本数为 1 的时候，小批量梯度下降法就变成了随机梯度下降法（SGD）。SGD以单个样本为训练单元，训练速度会很快，但牺牲了向量化运算所带来的便利性，在较大数据集上效率并不高
    缺点：梯度更新太快，容易产生梯度震荡，使收敛不稳定

12. 最速下降，批梯度下降，随机梯度下降的区别
    从本质上看，梯度下降法、小批量梯度下降法和随机梯度下降法，并没有区别。唯一的区别就在于它们执行一次训练过程所需要用到的训练样本数。
    梯度下降法用到的是全集训练数据，随机梯度下降则是单个样本数据，而小批量则是介于二者之间。

13. Momentum算法
    目的：使收敛更快，减少震荡，使收敛更稳定。(梯度方向不变时，收敛更快；梯度方向改变时，减小震荡）。后一个使收敛更稳定是针对SGD进行的（$g_t$是第$t$次迭代的梯度值，$x$是输入值）
    $$x_t=\rho x_{t-1}-\eta g_t$$
    $\rho$ 即momentum，表示要在多大程度上保留原来的更新方向，这个值在0-1之间，在训练开始时，由于梯度可能会很大，所以初始值一般选为0.5；当梯度不那么大时，改为0.9。

14. Adam算法
    Adam 全称为 Adaptive Moment Estimation，就是Momentum+RMSprop，是在带动量的梯度下降法的基础上融合了一种称为 RMSprop（加速梯度下降）的算法而成的。相较于带动量的梯度下降法，无论是RMSprop 还是 Adam，其中的改进思路都在于如何让横轴上的学习更快以及让纵轴上的学习更慢。RMSprop 和 Adam 在带动量的梯度下降法的基础上，引入了平方梯度，并对速率进行了偏差纠正。

其他基本概念

1. 什么是鞍点
2. 为什么神经网络容易拟合到鞍点
3. 反向传播的原理
4. 神经网络中每一轮的迭代过程
   1）对输入数据进行正向传播，得到损失函数值，并记住每一层的输出值
   2）执行反向传播函数，计算每一层参数的梯度值和每一层的误差项，如果有必要，将误差项传递给前一层
   3）求解器Solver（优化器Optimizer）根据计算出的参数梯度值进行更新操作，更新参数的值
5. 梯度下降陷入局部最优有什么解决方法
6. 为什么在神经网络的优化中一般使用梯度下降而不是用牛顿法（二阶优化）
   1）神经网络参数规模太大，梯度下降法一轮迭代的时间复杂度是 $O(n)$，牛顿法一轮迭代的时间复杂度是 $O(n^2)$，时间开销太大
   2）神经网络是复杂的复合函数，层数过多的时候计算Hessian矩阵或者其他近似矩阵都不容易
7. dropout前向和反向的处理
   dropout的做法是在训练的时候随机选择一部分神经元进行正向和反向的传播，另外一些神经元的参数值保持不变，以减轻过拟合
8. 梯度消失的出现原因
   1）当网络层数过深，求导链就会非常长，导致梯度消失
   2）较小的中间结果值，经过链式的累成作用，最终求得的梯度值就会接近于零。
9. 梯度消失的解决方案
   1）选用合适的激活函数。比如 ReLU 或者 Leaky ReLU。
   2）采用 Batch Normalization 层，对网络中计算得到中间值进行归一化，使得中间计算结果的取值在均值为 0，方差为 1 这样的分布内。那么此时，在 sigmoid 和 tanh 中，函数取值处于中间变化较大的部分，梯度取值也相对较大，从而防止过拟合。
   3）使用残差结构，在反向传播计算时，减少梯度传播的路径长度，以缓解梯度消失的问题。
   4） 在 RNN 网络中，可以通过使用 LSTM，解决信息遗忘和梯度传播的问题
10. 过拟合的解决方案
    1）l1/l2正则
    2）dropout
    3）bagging/boosting

---

普通神经网络

1. 全连接神经网络反向传播算法的误差项是什么
   是损失函数对当前层输出 $u^{(l)}$ （不包括激活函数）的梯度
   $$u^{(l)}=W^{(l)}{x}^{(l-1)}+b^{(l)}$$
   ※ 对输出求损失函数的梯度是需要计算激活函数的导数的（因为会包含在链式求导里面）
2. 全连接神经网络反向传播算法的误差项递推公式是什么
   $${\delta }^{(l)}={\nabla }_{u^{(l)}}L=\{\begin{array}{rl}(x^{(l)}-y)\odot f^{\prime }(u^{(l)}),& l=n_l\\ (W^{(l+1)}{)}^T({\delta }^{(l+1)})\odot f^{\prime }(u^{(l)}),& l\ne n_l\end{array}$$
   最后一层的终点是输出层，所以误差项可以直接求出，其他层的误差项由后一层的误差项递推求出
3. 误差项和权重/偏置的梯度关系
   $$\begin{array}{rl}{\nabla }_{w^{(l)}}L& ={\delta }^{(l)}(x^{(l-1)}{)}^T\\ {\nabla }_{b^{(l)}}L& ={\delta }^{(l)}\end{array}$$
4. 权重/偏置的负梯度更新公式
   $$\begin{array}{rl}{W}^{(l)}& =W^{(l)}-\eta {\nabla }_{w^{(l)}}L\\ b^{(l)}& =b^{(l)}-\eta {\nabla }_{b^{(l)}}L\end{array}$$

---

循环神经网络

RNN

1. RNN的损失计算和全连接神经网络/卷积神经网络损失计算的区别
   1）全连接神经网络/卷积神经网络：训练样本之间相互独立，所以计算所有样本的损失均值
   2）一个训练样本包含的时间序列之间互相不独立，所以计算训练样本所有时间序列输出值损失的和
2. RNN的反向传播算法和BP一样吗
   不一样，RNN的反向传播算法是BPTT（Back Propagation Through Time），BPTT是基于时间轴进行的，循环层的参数在任意时刻都是一致的
3. RNN更新参数的时间
   训练时对训练样本中时间序列的每个时刻的输出值进行正向传播，再计算损失和作为总损失，反向传播更新参数
4. RNN的前向传播
   对一个循环层中所有时刻，该循环层都共享输入-隐藏权重$W_{xh}$，隐藏层内权重（状态转移权重）$W_{hh}$，以及隐藏层（循环层）偏置 $b_h$
   $$\begin{array}{rl}{u}_t& =W_{xh}{x}_t+W_{hh}{h}_{t-1}+b_h\\ h_t& =f(u_t)\\ v_t& =W_o{h}_t+b_o\\ y_t^{\prime }& =g(v_t)\end{array}$$
5. RNN的输出层是否具备记忆功能
   不具备，对训练样本时间序列的每个时刻都有输出
6. RNN是否需要确保每个训练样本的时间序列长度相同
   不需要
7. RNN的循环层误差项计算
   误差项：该层经历激活函数前的输出 $u^{(l)}$ 对总损失函数 $L$ 的梯度
   $$\begin{array}{rlr}{\delta }_T& =W_o^T({\nabla }_{v_T}L)\odot f^{\prime }(u_T)& \\ {\delta }_t& ={\nabla }_{u_t}{L}_t+(W_{hh}^T{\delta }_{t+1})\odot f^{\prime }(u_t)& \\ & =(W_o^T({\nabla }_{y^{\prime }}{L}_t\odot g^{\prime }(v)))\odot f^{\prime }(u_t)+(W_{hh}^T{\delta }_{t+1})\odot f^{\prime }(u_t)& \end{array}$$
8. RNN循环层的参数更新梯度（假设输出的激活函数为softmax，损失为交叉熵）
   $$\begin{array}{rl}{\nabla }_{W_{hh}}L& =\sum _{t=1}^T=\sum _{t=1}^T{\delta }_t{h}_{t=1}^T\\ {\nabla }_{W_{xh}}L& =\sum _{t=1}^T{\delta }_t{x}_t^T\\ {\nabla }_{b_h}L& =\sum _{t=1}^T{\delta }_t\end{array}$$
9. RNN输出层的参数更新梯度（假设输出的激活函数为softmax，损失为交叉熵）
   $$\begin{array}{rl}{\nabla }_{b_o}L& =\sum _{t=1}^T{\nabla }_{b_o}{L}_t=\sum _{t=1}^T(y_t^{\prime }-y_t)\\ {\nabla }_{W_o}L& =\sum _{t=1}^T{\nabla }_{W_o}{L}_t=\sum _{t=1}^T(y_t^{\prime }-y_t)h_t^T\end{array}$$
10. 为什么RNN会更容易遇到梯度消失和梯度爆炸
    因为时间轴，出现在输入序列的长度过大的情况下进行的矩阵多次乘积
11. 除了LSTM还有什么能解决RNN的劣势
    relu，bn，合理初始化

LSTM

1. LSTM的信息传递机制是什么
   隐藏层的每个神经元都有3个输入
   1）上一层输出
   2）上一个时刻该神经元的隐藏状态值
   3）上一个时刻该神经元的细胞状态值
   通过输入门、遗忘门、输出门三个门控制信息的流量完成时许信息传递
2. LSTM和RNN比有什么优势
   对循环层单元进行改造，避免使用连乘公式直接计算隐藏层的状态值，使用另一种方式由 $h_{t-1}$ 计算 $h_t$
3. 每个门的组成
   三个门的计算公式是一样的，但分别有各自的权重和偏置
   每一个门的计算公式都是sigmoid层 + 点乘操作
   1）输入门
   $$i_t=\sigma (W_{xi}{x}_t+W_{hi}{h}_{t-1}+b_i)$$
   2）遗忘门
   $$f_t=\sigma (W_{xf}{x}_t+W_{hf}{h}_{t-1}+b_f)$$
   3）输出门
   $$o_t=\sigma (W_{xo}{x}_t+W_{ho}{h}_{t-1}+b_o)$$
4. sigmoid的作用
   以 [0, 1] 的输出限制了可通过该门的信息量
5. tanh函数的作用
   用于创建一个新的细胞状态的候选向量，将输入数据规范到[-1, 1]之间
6. 细胞状态和隐藏状态
   细胞状态通过输出门和tanh激活函数规范到隐藏状态
   1）隐藏状态更新公式
   $$h_t=o_t\cdot \tan h(c_t)$$
   2）细胞状态更新公式
   $$c_t=f_t\cdot c_{t-1}+i_t\cdot \tan h(W_{xx}{x}_t+W_{hc}{h}_{t-1}+b_c)$$
7. LSTM为什么能减少梯度消失
   有一部分最早时刻的输入值避免了与权重矩阵的累次乘法
8. LSTM 有哪些门，为什么要用这些门
   1）输入门：控制当前时刻的输入有多少可以进入记忆单元
   2）遗忘门：决定记忆单元上一时刻的值会有多少被传递到当前时刻
   3）输出门：决定记忆单元中存储的记忆值有多大比例可以被输出
   三个门都起到了信息的流量控制作用
9. BiLSTM和LSTM的区别

GRU

1. GRU和LSTM的区别

---

CNN

1. CNN的特点
   适用于局部空间相关性的数据，如图像/语音/自然语言等，具有如下4个特点
   1）局部连接：可以提取局部特征
   2）权值共享：减少参数数量，降低训练难度
   3）降维：通过池化或卷积stride实现
   4）多层次结构：将低层次的局部特征组合成较高层次的特征，不同层级的特征可以对应不同任务
2. CNN的原理
   卷积网络的卷积操作分为两步
   1）线性变换：将数据先行投影到更低维度的空间
   2）激活函数变换：对数据的压缩进行非线性变换
3. CNN的卷积层参数量
4. 卷积层的误差计算公式
   令 $u_{ij}^{(l)}$ 为 第 $l-1$ 层输出数据 $x_{ij}$ 在第 $l$ 层未经过激活函数的输出，卷积核大小为$p\times q$
   $$u_{ij}^{(l)}=\sum _{p=1}^s\sum _{q=1}^s{x}_{i+p-1,j+q-1}^{(l-1)}\times k_{pq}^{(l)}+b^{(l)}$$
   第 $l$ 层 $ij$ 位置的误差项为一个矩阵 ${\delta }_{ij}^{(l)}$
   $${\delta }_{ij}^{(l)}=\frac{\partial L}{\partial u_{ij}^{(l)}}=\frac{\partial L}{\partial x_{ij}^{(l)}}\frac{\partial x_{ij}^{(l)}}{\partial u_{ij}^{(l)}}=\frac{\partial L}{\partial x_{ij}^{(l)}}{f}^{\prime }(u_{ij}^{(l)})$$
5. 卷积层的误差更新公式
   1）旋转定义：卷积核为 $K$，rot180为顺时针旋转180°
   $${\delta }^{(l-1)}={\delta }^{(l)}\times rot180(K)\odot f^{\prime }(u^{(l-1)})$$
6. 卷积层的权重/偏置梯度求解公式
   1）权重梯度（卷积核梯度）
   $$\frac{\partial L}{\partial k_{pq}^{(l)}}=\sum _i\sum _j({\delta }_{ij}^{(l)}{x}_{i+p-1,j+q-1})=conv(X^{(l-1)},{\delta }^{(l)})$$
   2）偏置梯度
   $$\frac{\partial L}{\partial b^{(l)}}=\sum _i\sum _j({\delta }_{ij}^{(l)})$$
7. pooling层和普通层的更新区别
   pooling层没有参数，做是下采样的工作，因此不需要更新参数，仅需要讲误差传递个上一层，若pooling的输入数据大小为 $m\times n$，输出数据大小为 $m^{\prime }\times n^{\prime }$，则反向传播时接收的上一层误差数据大小为 $m^{\prime }\times n^{\prime }$，输入给下一层的误差数据大小为 $m\times n$
8. average pooling层回传方式
   假设上一层传来的误差为 ${\delta }^{(l)}$，pooling大小为 $s\times s$，则将每一个误差都扩充为 $s\times s$个误差，且值为 $\frac{{\delta }_i^{(l)}}{s\times s}$，即对 ${\delta }^{(l)}$ 的每一个误差 ${\delta }_i^{(l)}$，扩充为如下 $s\times s$ 的矩阵
   $$\begin{array}{ccc}\frac{{\delta }_i^{(l)}}{s\times s}& \cdots & \frac{{\delta }_i^{(l)}}{s\times s}\\ ⋮& \ddots & ⋮\\ \frac{{\delta }_i^{(l)}}{s\times s}& \cdots & \frac{{\delta }_i^{(l)}}{s\times s}\end{array}$$
9. max pooling层回传方式
   在正向传播中记录最大值所在位置，在最大处置为${\delta }_i^{(l)}$，其余位置处置为0
   $$\begin{array}{ccc}0& \cdots & 0\\ ⋮& \ddots & ⋮\\ {\delta }_i^{(l)}& \cdots & 0\end{array}$$
10. 卷积核为什么都是奇数
    1）便于进行padding。
         在卷积时，若要卷积前后的尺寸不变。需要对原图进行padding。假设图像的大小为 $n\ast n$ 卷积核大小为 $k\ast k$，就可以设置padding为 $\frac{k-1}{2}$，保证卷积的输出大小仍为 $n\ast n$，此是如果k是偶数，$\frac{k-1}{2}$ 就不是整数，无法计算。
    2）容易找到卷积锚点
         奇数相对于偶数，有中心点，对边沿、对线条更加敏感，可以更有效的提取边沿信息。保证了 padding 时，图像的两边依然相对称
11. 如何通过卷积矩阵计算卷积
    这个不太好说明，直接举个例子。
    假设输入图像为
    $$\left[\begin{array}{cccc}{x}_{11}& x_{12}& x_{13}& x_{14}\\ x_{21}& x_{22}& x_{23}& x_{24}\\ x_{31}& x_{32}& x_{33}& x_{34}\\ x_{41}& x_{42}& x_{43}& x_{44}\end{array}\right]$$
    卷积核矩阵为
    $$\left[\begin{array}{ccc}{k}_{11}& k_{12}& k_{13}\\ k_{21}& k_{22}& k_{23}\\ k_{31}& k_{32}& k_{33}\end{array}\right]$$
    可以将输入矩阵按行拼接为列向量 $x$
    $$[x_{11}{x}_{12}{x}_{13}{x}_{14}{x}_{21}{x}_{22}{x}_{23}{x}_{24}{x}_{31}{x}_{32}{x}_{33}{x}_{34}{x}_{41}{x}_{42}{x}_{43}{x}_{44}{]}^T$$
    对应的卷积核矩阵 $C$ 为
    $$\left[\begin{array}{cccccccccccccccc}{k}_{11}& k_{12}& k_{13}& 0& k_{21}& k_{22}& k_{23}& 0& k_{31}& k_{32}& k_{33}& 0& 0& 0& 0& 0\\ 0& k_{11}& k_{12}& k_{13}& 0& k_{21}& k_{22}& k_{23}& 0& k_{31}& k_{32}& k_{33}& 0& 0& 0& 0\\ 0& 0& 0& 0& k_{11}& k_{12}& k_{13}& 0& k_{21}& k_{22}& k_{23}& 0& k_{31}& k_{32}& k_{33}& 0\\ 0& 0& 0& 0& 0& k_{11}& k_{12}& k_{13}& 0& k_{21}& k_{22}& k_{23}& 0& k_{31}& k_{32}& k_{33}\end{array}\right]$$
    所以前向传播时候的卷积运算为$$y=Cx$$
    反向传播时候的卷积运算为$${\delta }^{(l-1)}=C^T{\delta }^{(l)}$$
12. 什么是 $1\times 1$ 的卷积核
    它只在通道上进行卷积，相当于对多个输入通道进行加权平均。这种卷积不会改变图像的高度和宽度，只改变通道数量（变为1），被用于全卷积网络和通道降维
13. 给定卷积核和步长计算output维度

---

残差网络

1. 残差网络出现的原因
   增加网络的层数会提高网络的性能，但是增加到一定层数之后，随着层数的增加，神经网络的训练误差和测试误差会增大，这个问题称之为退化。
2. 残差网络的基本思想
   使用跨层链接；拟合误差项的手段来解决深层网络难以训练的问题
   增添了网络多样性：如果有 $n$ 个跨层结构，则数据通过的路径有 $2^n$ 种可能。
3. 残差的定义
   假设神经网络要拟合的函数为 $H(x)$，输入向量为 $x$，则残差定义为$$F(x)=H(x)-x$$

---

GNN