Understanding Neural Networks Through Deep Visualization

很早的文章 2015  http://yosinski.com/deepvis

提出两种工具:(1)可视化激活值(2)第二种方法通过一种正则化的方法,在像素层面优化

这篇文章的贡献 第一:开源了一款软件,集成了当前所有的可视化的方法,包括,1.展示激活值2.通过梯度上升找到偏好的刺激3.对每个unit,训练集中响应最大的top 图片4.把这些top 图片根据反卷积生成的视图;第二:为了产生我们更容易理解的图片,给先前那些可视化偏好激活模式的方法一些正则项,以产生更为人所理解的图片

一个发现是  (1)一个神经元可能感兴趣区域是非常局部的(深层次神经元理论上应该有很大区域的感受野,但是还是感兴趣一个局部区域??,卷积层4,5)     (2)感兴趣往往是比较确定的,比如就是脸

第二个贡献是 

明面上公式

实际用的是

实验了几种正则方式:L2衰减,高斯模糊,小范数的被裁减,小贡献的被裁减

你可能感兴趣的:(Understanding Neural Networks Through Deep Visualization)