pytorch快速上手（10）-----netron查看神经网络结构图

部分参考自：https://zhuanlan.zhihu.com/p/431445882

netron介绍

netron是一个深度学习模型可视化库，其支持以下格式的模型存储文件：

• ONNX (.onnx, .pb)
• Keras (.h5, .keras)
• CoreML (.mlmodel)
• TensorFlow Lite (.tflite)
  netron并不支持pytorch通过torch.save方法导出的模型文件，因此在pytorch保存模型的时候，需要将其导出为onnx格式的模型文件，可以利用torch.onnx模块实现这一目标。

整体的流程分为两步：

• 第一步，pytorch导出onnx格式的模型文件。
• 第二步，netron载入模型文件，进行可视化。

接下来按照这两步进行实践。

1. pytorch导出onnx格式模型文件

pytorch导出onnx格式模型文件直接使用torch.onnx中相关方法即可，除了定义一个模型外，还需要传入一个数据样例：

import torchvision.models as models
import torch

# 定义样例数据+网络
data = torch.randn(2, 3, 256, 256)
net = models.resnet34()

# 导出为onnx格式
torch.onnx.export(
    net,
    data,
    'model.onnx',
    export_params=True,
    opset_version=8,
)

导出的模型文件为model.onnx。

2. netron可视化

netron提供了两种运行方式。

（1）netron软件打开

• 第一种是以软件的方式安装netron，然后打开软件载入模型，下载地址见github主页。

（2）netron第三方库

• 第二种是将netron作为python库进行安装，在python代码调用netron库来载入模型进行可视化。 可以通过 pip install netron进行安装。

pip install netron # 安装netron

新建一个modelView.py文件，代码如下。一定要注意文件路径的问题

# 使用netron进行模型可视化
import netron
# 模型的路径
modelPath = "trained_models/simpler_CNN.01-0.32.hdf5"
# 启动模型
netron.start(modelPath)

随后运行modelView.py文件。生成如下地址。

浏览器打开该地址。出现我们训练的模型可视图了

其中，输入图片是 n * h * w * c 形式，每层卷积操作的数据是 kernel_h * kernel_w * in_channels * out_channels

（3）netron在线网站

• 如果你既不想安装netron软件，也不想安装netron库，netron作者很贴心地做了一个在线demo网站，可以直接上传模型文件查看可视化结果。

将刚才的model.onnx进行上传，结果如下：

点击模块可以在右侧查看模块信息，例如卷积核的大小，卷积核的具体参数等。dilation在torch的cov2d() 里默认是1，>=2时，才是真正的空洞卷积。详见下面补充内容。

如果仔细看下结果，可以发现图中没有特征图的维度，只有输入数据的维度（3，256，256）。在netron中，如果想看到特征图的维度，需要在导出为onnx的时候，同时加上特征图维度信息。这个操作需要onnx库的帮助，可以通过pip install onnx进行安装。具体代码如下：

import torchvision.models as models
import torch

import onnx
import onnx.utils
import onnx.version_converter


# 定义数据+网络
data = torch.randn(2, 3, 256, 256)
net = models.resnet34()

# 导出
torch.onnx.export(
    net,
    data,
    'model.onnx',
    export_params=True,
    opset_version=8,
)

# 增加维度信息
model_file = 'model.onnx'
onnx_model = onnx.load(model_file)
onnx.save(onnx.shape_inference.infer_shapes(onnx_model), model_file)

相比之前的代码，多了一个增加维度信息的步骤。此时可视化图中就能完整显示所有特征图的维度了。

补充

首先我们看一下Pytorch中的Conv2d的对应函数（Tensor通道排列顺序是：[batch, channel, height, width]）：

torch.nn.Conv2d(in_channels, 
                out_channels, 
                kernel_size, 
                stride=1, 
                padding=0, 
                dilation=1, 
                groups=1, 
                bias=True, 
                padding_mode='zeros')

想说的是其中的dilation这个参数，可以看到其默认值为1。先贴一段官方文档中对该参数的表述：

    controls the spacing between the kernel points;

它有点类似于stride，实际含义为：每个点之间有空隙的过滤器，即为dilation。
例如，在一个维度上，一个大小为3的过滤器w会对输入的x进行如下计算：w[0] * x[0] + w[1] * x[1] + w[2] * x[2]。若dilation = 1，过滤器会计算：w[0] * x[0] + w[1] * x[2] + w[2] * x[4]；
换句话说，在不同点之间有一个1的差距。（Pytoch中dilation默认等于1，但是实际为不膨胀，也就是说设置dilation = 2时才会真正进行膨胀操作）

这在某些情况下与0-dilated滤波器一起使用非常有用，因为它允许你用更少的层来更积极地合并整个输入的空间信息。例如，如果你把两个3 x 3的CONV层叠在一起，那么可以说，第二层的神经元是一个5x5的输入补丁的函数（我们会说这些神经元的有效感受野是5x5）。如果我们使用dilation的卷积，那么这个有效感受野会增长得更快。

这种情况实际为Pytorch中，dilation = 2的情况。

    特别注意：在Pytorch中，dilation = 1等同于没有dilation的标准卷积。