深度学习试题_深度学习理论类常见面试题(一)

CNN 平移不变性是什么?如何实现的?

平移不变性(translation invariant)指的是 CNN 对于同一张图及其平移后的版本，都 能输出同样的结果。这对于图像分类(image classification)问题来说肯定是最理想 的，因为对于一个物体的平移并不应该改变它的类别。

卷积+最大池化约等于平移不变性。卷积:简单地说，图像经过平移，相应的特征图上的 表达方式也是表达方式也是移的。在神经网络中，卷积被定义为不同位置的特征检测器，也就意味着，无 论目标出现在图像中的哪个位置，它都会检测到同样的这些特征，输出同样的响应。

池化:比如最大池化，它返回感受野中的最大值，如果最大值被移动了，但是仍然在这个 感受野中，那么池化层也仍然会输出相同的最大值。这两种操作共同提供了一些平移不变性，即使图像被平移，卷积保证仍然能检测到它的特征，池化则尽可能地保持一致的表达。

AlexNet, VGG，GoogleNet，Res网络et网络网络之间的区别是什么?

网络结构对比:

特点:
AlexNet 相比传统的 CNN，主要改动包括 Data Augmentation(数据增强)、Dropout

方法、激活函数用 ReLU 代替了传统的 Tanh 或者 Logistic、Local Response Normalization(LRN，实际就是利用临近的数据做归一化)、Overlapping Pooling(有 重叠，即 Pooling 的步长比 Pooling Kernel 的对应边要小)、多 GPU 并行。

VGG 很好地继承了 AlexNet 的特点，但是网络更深。

GoogLeNet，网络更深，但主要的创新在于他的 Inception，这是一种网中网 (Network In Network)的结构，即原来的结点也是一个网络。相比于前述几个网络，用 了 Inception 之后整个网络结构的宽度和深度都可扩大，能够带来 2-3 倍的性能提升。

ResNet 在网络深度上有了进一步探索。但主要的创新在于残差网络，网络的提出本质 上还是要解决层次比较深的时候无法训练的问题。这种借鉴了 Highway Network 思想的网 络相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出 H(x)变成输出和输入的差 H(x)-x，其中 H(X)是某一层原始的的期望映射输出x 是输入。

残差网络为什么能解决梯度消失的问题

虽然是对 求偏导数，但是存在一项只和 相关的项，之间避免了何中间权重矩阵 变换导致梯度消失的问题

LSTM 为什么能解决梯度消失/爆炸的问题

LSTM 把原本 RNN 的单元改造成一个叫做 CEC 的部件，这个部件保证了误差将以常 数的形式在网络中流动 ，并在此基础上添加输入门和输出门使得模型变成非线性的，并 可以调整不同时序的输出对模型后续动作的影响。