本次总结，按照收获分为三部分。

感悟：关于模型定义方式，其实常用就就两种：Sequential和List，前面一种简单且不需要forward定顺序但是不灵活，没办法中间修改；List就是__init__定义，forward中定传播顺序，很灵活但是要搞两遍。

因此，可以将不会进行修改而且重复的部分，用Sequential形式做成模块（下面Unet中有），然后其他部分还用List模式，至少啊，下面预训练模型最终修改fc层由于是List的就很好改

1 熟悉pytorch中三种定义模型方式

1.1 Sequential

标准模板

这种方法比较常用，尤其是在简单基础模型中，优点是不用写forward，因为顺序已经定义好了（竟然是因为这个，之前不知道）。缺点是不灵活，比如不容易在外部输入加入（说实话，这一点我暂时还没理解，等遇到时候再回来补充）

1.2 ModuleList

如果说Sequential最大特点就是因为已有顺序不用写forward，那么List就恰恰相反，定义时候毫无顺序，必须在forward时候定义

1.3 ModuleDict

感觉不常用，暂不赘述

1.4 适用场景

Sequential适用于快速验证结果，因为已经明确了要用哪些层，直接写一下就好了，不需要同时写__init__和forward；

ModuleList和ModuleDict在某个完全相同的层需要重复出现多次时，非常方便实现，可以”一行顶多行“；

当我们需要之前层的信息的时候，比如 ResNets 中的残差计算，当前层的结果需要和之前层中的结果进行融合，一般使用 ModuleList/ModuleDict 比较方便

2 读懂github上千奇百怪写法

2.1 即插即用——模块（例子-Unet）

上面提到Sequential适合搭积木逐行做，但是实际搭建网络中会有非常多的重复，就需要做成“模块”，下面就以U-net为例，将简单层构建成具有特定功能的模型块

组成U-Net的模型块主要有如下几个部分：

1）每个子块内部的两次卷积（Double Convolution）

2）左侧模型块之间的下采样连接，即最大池化（Max pooling）

3）右侧模型块之间的上采样连接（Up sampling）

4）输出层的处理

除模型块外，还有模型块之间的横向连接，输入和U-Net底部的连接等计算，这些单独的操作可以通过forward函数来实现。

下面我们用PyTorch先实现上述的模型块，然后再利用定义好的模型块构建U-Net模型。

2.2 修改模型若干层

这里主要是以torchvision预定义的ResNet50为例，也就是怎样处理预训练模型，基本需求集中在修改分类层上

（1）先看模型定义

理解一下为什么上面说的Squential不容易修改插入

如图，如果想修改Sequential组装形成的层，也就是layer1，那就需要整体重写了，但是如果修改fc层，因为是单独的，容易修改

（2）对单独的层重新定义

这样就把模型（net）最后名称为“fc”的层替换成了名称为“classifier”的结构，该结构是我们自己定义的。这里使用了第一节介绍的Sequential+OrderedDict的模型定义方式。至此，我们就完成了模型的修改，现在的模型就可以去做10分类任务了

2.3 添加额外输入

这个很实用，比如原来网络只有CNN特征，现在需要在倒数第二层加上一组变量，那么就如下操作

另外相对于上面的Sequential，这样就是__init__定义，forward拼接的形式，更灵活

这样真的太棒了，我能直接应用一下，在add_var中就是每张图像对应的额外特征值

2.4 添加额外输出

参照上面修改输入，增加输出相对简单一些

3 根据需要选取模型

这部分其实很实用，因为如果想手动调整学习率，或者想对比那次对于训练集和测试集的准确率有比较好的平衡，然后选取对应的参数

实际中使用pth保存所有权重就行，大部分人应该都是单卡单机

3.pytorch模型定义