MobileNet v2的Inverted Bottleneck为什么可以抵消ReLU激活函数所带来的信息损失

A. Bottleneck transformation

在这一节中，我们研究一个算子$A\text{ReLU}(Bx)$的特性，其中$x\in {\mathcal{R}}^n$代表一个$n$通道的像素，$B$是一个$m\times n$矩阵，$A$是一个 $n\times m$矩阵。我们认为，如果 $m\le n$，这种形式的变换只能以损失信息为代价利用非线性。相反，如果 $n\ll m$，这种变换可以是高度非线性的，但仍然可以高概率地反转（对于初始随机权重）。

首先，我们表明ReLU对于任何位于其图像内部的点来说都是一种身份转换 (identity transformation)。

Lemma (辅助定理) 1：

让$S(X)=\{\text{ReLU}(x)|x\in X\}$。如果$S(X)$的一个体积是非零的，那么内部 $S(X)\in X$。

ReLU的性质，正半轴为正，负半轴为0

证明：

让$S^{\prime }=\text{interior ReLU}(S)$。首先我们注意到，如果 $x\in S_0$，那么对于所有的$i$，$x_i>0$。事实上，ReLU的图像不包含负坐标的点，而零值坐标的点不可能是内部点。因此，对于每个$x\in S_0$，$x=\text{ReLU}(x)$，如愿以偿。

由此可见，对于交错线性变换和ReLU算子的任意组合，如果它保留了非零体积，那么在这种组合上保留的那部分输入空间$X$就是线性变换，因此很可能是深度网络力量的一个小贡献者。然而，这是一个相当弱的声明。事实上，如果输入流形可以被嵌入到 $(n-1)$ 维流形中（总共有 $n$ 个维度），那么该定理就基本成立，因为起始体积是 $0$。

由于 $\text{ReLU}(x)$ 非线性是一个将整个射线 $x\le 0$ 映射到 $0$ 的射影函数，在神经网络中使用这种非线性会导致信息损失。一旦$\text{ReLU}$将输入流形的一个子集折叠成一个较小维度的输出，下面的网络层就不能再区分折叠的输入样本了。在下文中，我们表明，具有足够大的扩展层的瓶颈可以抵抗 $\text{ReLU}$ 激活函数的存在所造成的信息损失。

Lemma (辅助定理) 2 (Invertibility of ReLU, ReLU的不可逆性)：

考虑一个算子$\text{ReLU}(Bx)$，其中 $B$ 是一个 $m\times n$ 矩阵，$x\in R_n$。让 $y_0=\text{ReLU}(Bx0)$，对于一些$x_0\in R_n$，那么方程 $y_0=\text{ReLU}(Bx)$对于 $x$ 有一个唯一的解，当且仅当 $y_0$ 至少有 $n$ 个非零值，并且有 $n$ 个线性独立的 $B$ 的行对应于 $y_0$ 的非零坐标。

Proof：

用 $T$ 表示 $y_0$ 的非零坐标集，设 $y_T$ 和 $B_T$ 是 $y$ 和 $B$ 对 $T$ 定义的子空间的限制。如果 $|T|<n$，我们有 $y_T=B_T{x}_0$，其中 $B_T$ 至少有一个解 $x_0$ 是欠确定的，因此有无限多的解。假设有一个额外的解$x_1\ne x_0$，使得 $y_0=\text{ReLU}(B{x}_1)$，那么我们有 $y_T=B_T\cdot x_0=B_T\cdot x_1$，除非 $x_0=x_1$，否则不能满足。

这个结论的一个推论是，如果 $m\gg n$，我们只需要 $B_x$ 的一小部分值是正的，$\text{ReLU}(Bx)$就可以倒置。

对于真实的网络和真实的输入，可以用经验来验证定理2 (Lemma 2)的约束，因此我们可以保证信息确实得到了保留。我们进一步表明，就初始化而言，我们可以确信这些约束条件很可能得到满足。请注意，对于随机初始化，由于初始化的对称性，定理2 (Lemma 2)的条件得到了满足。然而，即使对于训练有素的图形，这些约束也可以通过在有效输入上运行网络并验证所有或大多数输入都在阈值以上来进行经验验证。在图7中，我们展示了不同MobileNetV2层的分布情况。在第0步，激活模式集中在有一半的正通道（正如初始化对称性所预测的）。对于经过充分训练的网络，虽然标准偏差明显增长，但除了两层之外，所有的网络仍然在可逆性阈值之上。我们认为对此进行进一步的研究是有必要的，并可能导致对网络设计的有益见解。

图7：激活模式的分布。$x$轴是层指数，我们显示了每次与ReLU卷积后的最小/最大/平均的阳性通道数。$y$轴是通道的绝对数或相对数。"阈值线"表示ReLU的可逆性阈值–即正维数高于输入空间。在我们的例子中，这是 $1/6$ 个通道的分数。请注意在图7a的训练开始时，分布是如何更紧密地集中在平均值周围的。训练结束后（图7b），平均数没有变化，但标准差急剧增长。最好以彩色观看。

Theorem 1 —— 定理1

让$S$是${\mathcal{R}}^n$的一个紧凑的$n$维子域。考虑从${\mathcal{R}}^n$到${\mathcal{R}}^m$的函数族$f_B(x)=\text{ReLU}(Bx)$，参数为$m\times n$矩阵$B\in \mathcal{B}$。让$p(B)$是所有矩阵$\mathcal{B}$空间上的概率密度，满足以下条件：

• 对于任何措施为零的子集$Z\subset \mathcal{B}$，$P(Z)=0$；
• (对称条件)对于任何 $B\in \mathcal{B}$ 和任何 $m\times m$ 对角线矩阵 $D$，所有对角线元素不是 $+1$ 就是 $-1$，$p(DB)=p(B)$。

那么，被 $f_B$ 折叠成低维流形的 $S$ 的子集的平均 $n$体积为

$$V-\frac{N_{m,n}V}{2^m}$$

其中$V=\text{vol }S$和

$$N_{m,n}=\sum _{k=0}^{m-n}\left(\begin{array}{c}m\\ k\end{array}\right)$$

Proof:

对于任何$\sigma =(s_1,...,s_m)$，$s_k\in -1,+1$，让$Q_{\sigma }=\{x\in {\mathcal{R}}^m|x_i{s}_i>0\}$ 是 ${\mathcal{R}}^m$ 中的一个相应象限。对于任何 $n$ 维子域 $\Gamma \subset {\mathcal{R}}^m$，如果 $\sigma$ 至少有 $n$ 个正值[4]，ReLU在 $\Gamma \cap Q_{\sigma }$ 上起双射作用，否则收缩 $\Gamma \cap Q_{\sigma }$。同时注意到，$BS$ 与${\mathcal{R}}^m({\cup }_{\sigma }{Q}_{\sigma })$ 的交点几乎肯定是 $(n-1)$ 维的。因此，将ReLU应用于 $BS$ 而不被折叠的 $S$ 的平均 $n$ 体积由以下公式给出：

$$\sum _{\sigma \in {\sum }_n}{\mathbb{E}}_B[V_{\sigma }(B)]$$

其中${\Sigma }_n=\{(s_1,..,s_m)|{\sum }_k\theta (s_k)\ge n\}$，$\theta$ 是一个阶梯函数，$V_{\sigma }(B)$ 是由 $B$ 映射到 $Q_{\sigma }$ 的 $S$ 的最大子集的体积。现在让我们计算 ${\mathbb{E}}_B[V_{\sigma }(B)]$。回顾 $p(DB)=p(B)$，对于任何 $D=\text{diag}(s_1,...,s_m)$，$s_k\in -1,+1$，这个平均值可以改写为 ${\mathbb{E}}_B{\mathbb{E}}_D[V_{\sigma }(DB)]$。注意到 $DB$ 映射到 $Q_{\sigma }$ 的 $S$ 子集也被 $B$ 映射到 $D^{-1}{Q}_{\sigma }$，我们立即得到 ${\sum }_{{\sigma }^{\prime }}{V}_{\sigma }[\text{diag}({\sigma }_0)B]={\sum }_{{\sigma }^{\prime }}{V}_{{\sigma }^{\prime }}[B]=\text{vol}S$，因此 ${\mathbb{E}}_B[V_{\sigma }(B)]=2^{-m}\text{vol}S$. 将此和 $|\Sigma n|={\sum }_{k=0}^{m-n}$ 进入公式3，证明就完成了。

[4]：除非所有 $x\in \Gamma \cap Q_{\sigma }$ 的正坐标中至少有一个是固定的，这对几乎所有的 $B$ 和 $\Gamma =BS$ 来说都不是这样。

请注意，对于有 $m\gg n$ 的足够大的扩展层，塌陷空间 $N_{m,n}/2^m$ 的部分可以被下列公式约束：

$$\frac{N_{m,n}}{2^m}\ge 1-\frac{m^{n+1}}{2^{m}n!}\ge 1-2^{(n+1)\text{log}m-m}\ge 1-2^{-m/2}$$

因此，ReLU(Bx)执行了一个非线性变换，同时大概率地保留了信息。

我们讨论了瓶颈如何防止流形塌陷，但是增加瓶颈扩展的大小也可能使网络有可能表示更复杂的函数。按照[47]的主要结果，我们可以证明，例如，对于任何整数 $L\ge 1$ 和 $p>1$，存在一个由$L$ ReLU层组成的网络，每个层包含 $n$ 个神经元和一个大小为 $pn$ 的瓶颈扩展，这样它就可以将 $p^{nL}$ 输入量（线性同构为 $[0，1{]}^n$）映射到相同的输出区域 $[0，1{]}^n$。因此，附加在网络输出上的任何复杂的可能是非线性的函数将有效地计算$p^{nL}$ 输入线性区域的函数值。