[可解释机器学习]Task02:[算法]ZFNet

ZFNet-算法讲解

采用的是通过讲解论文的方式对算法进行讲解

论文名字为:Visualizing and Understanding Convolutional Networks

论文的具体笔记在EndNote里

应该先听论文精讲部分的,先听个总的有点摸不着头脑

论文分为六个部分

  1. Introduction
  2. Approach
  3. Training Details
  4. Convnet Visualization
  5. Experiments
  6. Discussion

图文很多(毕竟是可视化),需要听讲解,否则很难理解具体图文是什么意思,

整体都是理论的讲解,想知道实际上操纵该怎么搞。

整体在AlexNet上进行改进

关键字(非论文关键字):训练过程中不同层特征演化可视化,平移、缩放、旋转敏感性分析,局部遮挡敏感性分析,相关性遮挡分析,ImageNet 2012竞赛,Caltech-101,Caltech-256,PASCAL VOC 2012,全连接层和卷积层去除后性能分析,各特征有效性分析

下面这部分是听了概括部分做的笔记,听完精讲后感觉实在很烂,不过确实很精简,不打算改,明天换种记笔记方式吧

一个很有名的图像分类模型

2013年Imagenet图像分类挑战赛的冠军

提出了一种巧妙的可视化卷积神经网络中间层特征的方法技巧

利用这些技巧可以知道神经元究竟在提取什么特征,同时改进之前的网络

[可解释机器学习]Task02:[算法]ZFNet_第1张图片

上面是ZFNet的网络结构(基于AlexNet)

这篇论文和重点依然是可视化的技巧

[可解释机器学习]Task02:[算法]ZFNet_第2张图片

卷积 & 反卷积

反池化:

[可解释机器学习]Task02:[算法]ZFNet_第3张图片

第一层提取的特征非常底层,如边缘、颜色等

[可解释机器学习]Task02:[算法]ZFNet_第4张图片

第二层开始使用反卷积的技巧

左侧是被喂出来的图,右侧都是真实的图

[可解释机器学习]Task02:[算法]ZFNet_第5张图片

到第五层,特征开始变得高级与复杂,并且具备一定的不变性(9张图片的相似度不高了),

越来越倾向于提取语义特征

越往后越难以收敛

[可解释机器学习]Task02:[算法]ZFNet_第6张图片

论文中还分析了不变性

平移、缩放与旋转会对不同层提取的信息以及输出有什么不同的影响

网络浅层在关注长宽方向上的信息,深层是在关注语义信息

接下来是ZFNet结构的由来

[可解释机器学习]Task02:[算法]ZFNet_第7张图片

接下来还进行了遮挡测试

通过一系列巧妙的对照,证明了神经网络对遮挡的敏感性

[可解释机器学习]Task02:[算法]ZFNet_第8张图片

除了敏感性分析外,还进行了相关性分析

深度学习是否对狗这个类别进行了语义上隐式的定义

不同的图片遮挡同一个部位,其影响是否一样?

如果不同的狗都遮住右眼影响一样,说明深度学习隐式得定义了右眼这个位置对狗这个类别的相关性

间接证明网络越到深层,越提取语义特征,而不是长宽、边缘等

各个版本的对比

[可解释机器学习]Task02:[算法]ZFNet_第9张图片

去掉一些层对网络的影响

[可解释机器学习]Task02:[算法]ZFNet_第10张图片

进行迁移学习和微调

[可解释机器学习]Task02:[算法]ZFNet_第11张图片

不保留权重,只保留结构,效果并不好

[可解释机器学习]Task02:[算法]ZFNet_第12张图片

使用迁移学习的话,只需要很少量的数据就可以达到非常好的性能

只需要6张图片就可以达到和原来最好的模型一样的性能

[可解释机器学习]Task02:[算法]ZFNet_第13张图片

Caltech256每个图片上只有一个物体,而PASCAL2012上一个图片上有很多个物体

[可解释机器学习]Task02:[算法]ZFNet_第14张图片

最后该论文还分析了网络中不同的层提取的特征对分类的有效性

模型越深,越具有分类上的有效性

[可解释机器学习]Task02:[算法]ZFNet_第15张图片

总结:就理解可解释机器学习来说,这篇论文真的很棒,有很多可视化图片,还有很多具体的说明(看得懂的话),对于基础理解可解释机器学习来说肯定够了,而且内容很丰富,不仅了解了可解释机器学习还白嫖一个算法(不是。

ZFNet-论文逐句精读

核心是能够可视化卷积神经网络中间层提取到的特征的方法

ZFNet 2013年ImageNet图像分类竞赛冠军

反卷积将中间层feature map重构回原始输入像素空间可视化

具体笔记放在EndNote里,需要的可以留言 

你可能感兴趣的:(算法,深度学习)