【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers

Binder, Alexander, et al. “Layer-wise relevance propagation for neural networks with local renormalization layers.” International Conference on Artificial Neural Networks. Springer, Cham, 2016.

本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。

Layer-wise Relevance Propagation for Neural Networks

在神经网络中，每一层的输出$x_j$都是输入$x_i$和激活函数$g$的结果（作者写着主要是约定一下各个符号的意思）：
$$x_j=g(\sum _I{w}_{ij}{x}_i+b)$$

给定一个图像$x$和分类器$f$，$x$上每一个像素$p$都有一个 pixel-wise relevance score $R_p^{(1)}$使得：
$$f(x)=\sum _p{R}_p^{(1)}$$

如果我们已知$l+1$层的相关性$R_j^{(l+1)}$，我们先它分解成信息$R_{i\leftarrow j}^{(l,l+1)}$：
$$R_j^{(l+1)}=\sum _i{R}_{i\leftarrow j}^{(l,l+1)}$$

那么对于$l$层的想关系我们有：
$$R_i^{(l)}=\sum _j{R}_{i\leftarrow j}^{(l,l+1)}$$

上面两个式子定义了相关性的传播过程。在 LRP 中，$R_{i\leftarrow j}^{(l,l+1)}$的计算工程有如下的结构：
$$R_{i\leftarrow j}^{(l,l+1)}=v_{ij}{R}_j^{l+1}with\sum _i{v}_{ij}=1$$

具体有两种规则，先定义$z_{ij}=(w_{ij}{x}_i{)}^p$，$z_j={\sum }_k{z}_{kj}$，$ϵ$-rule 定义：
$$R_{i\leftarrow j}^{(l,l+1)}=\frac{z_{ij}}{z_j+ϵ\cdot sign(z_j)}{R}_j^{l+1}$$

$ϵ$是个很小的数防止分母为0。$\beta$-rule 定义为：
$$R_{i\leftarrow j}^{(l,l+1)}=((1+\beta )\frac{z_{ij}^{+}}{z_j^{+}}+\beta \frac{z_{ij}^{-}}{z_j^{-}})R_j^{l+1}$$

正负号表示$z$取正负时的对应值，$\beta$越大(e.g.,$\beta =1$)越是反推回去的热力图越尖锐

Extending LRP to local renormalization layers

上面两种传播方式都可以看作是激活函数的 Taylor expansion，感觉这的推导不是很有说服力，把 normalization 泰勒展开，然后重新计算不同节点的贡献。

总体思路

相当于把结果反向传播回像素，定义好规则来进行反向传播。