Understanding Neural Networks via Feature Visualization: A survey（2）

综述太长，分两部分写。

文章第二部分介绍了Plug and Play Generative Networks这篇文章中提到了一个概率解释公式，在这个公式下解释其它的AM理论，AM需要两个（1）一个图像先验，（2）一个我们想可视化的分类网络

实际实验中我们常常只想激活一个,但是经常会同时让其它地神经元（同层其他的甚至深层的）也增大了（就是类别相通性，羚羊一型的神经元被最大激活，羚羊二型也会被激活），因此无法保证目标单元是这一层最高激活的单元，这样，生成的图片可能就失去了对目标unit的独一无二性。所以选择性的激活是希望最大

y给定神经元对应的类别，x是图片

所以最后一层就表示一个分类模型，中间层就表示激活值，然后表示的是图像的先验信息

更新公式

提到两个数据集，一个是周博磊的Object detectors emerge

in deep scene cnns. In: International Conference on Learning Representations (ICLR)

(2015) pages 15  MIT Places dataset，还一个是UCF-101

互补的例证

周博磊的文章是找到原始图片中的区域，但是这个文章是重新生成图片，这两者有一个互补的证明

也可以激活一组神经元来探讨神经元之间的关系，比如探讨一个网络是如何区分开两个相近的视觉类别，“黑斑羚”和“大岭羊”，一个方法就是最大黑斑羚的神经元，但是同时最小大羚羊的神经元  。Second, one may reveal different facets of a

neuron [29] by activating different pairs of units. That is, activating two units at

the same time e.g. (castle + candle); and (piano + candle) would produce two

distinct images of candles that activate the same “candle” unit

揭示一个神经元的多个面

从一个分割网络去AM

讨论和结论：
1    我们可能希望利用AM方法来对比不同网络结构所学到的特征，但是这 需要一个通用的AM方法能够产生一致的，可解释的可视化对于不同数据集和不同网络架构所学到的特征。这就很困难，因为（1）不同数据集和不同网络架构的图片先验可能很不一样，（2）对不同的架构甚至是同一架构不同深度的神经元，为了达到最好的表现，超参数都不一样。

2     我们需要提出一种评估AM理论的严格办法，尚未搞清楚生成的图片是因为加的强先验还是来自于训练的网络

3     网络的概念信息可能是分布式的，或者说一个多个神经元表示一个概念。

4     将AM方法和其它可视化方法结合起来，或者将AM算法和诊断网络解释性的应用联系起来   Deepxplore: Automated whitebox testing of deep learning systems.