pytorch学习六--模型创建步骤与nn.module
模型模块包括两部分：模型创建与权值初始化；模型创建又包括构建网络层（卷积层、池化层、激活函数层等）和拼接网络层（LeNet、AlexNet、ResNet等）；权值初始化有Xavier、Kaiming、均匀分布、正态分布等。
LeNet网络结构
运算示意图
nn.module
- torch.nn.Parameter：张量子类，表示可学习参数，如weight、bias
- torch.nn.Module：所有网络层基类，管理网络属性
- torch.nn.functional：函数具体实现，如卷积、池化、激活函数等
- torch.nn.init：参数初始化方法
- parameters：存储管理nn.Parameter类
- modules：存储管理nn.Module类
- buffers：存储管理缓冲属性，如BN层中的running_mean
- ***_hooks：存储管理钩子函数
self._parameters = OrderedDict()
self._buffers = OrderedDict()
self._backward_hooks = OrderedDict()
self._forward_hooks = OrderedDict()
self._forward_pre_hooks = OrderedDict()
self._state_dict_hooks = OrderedDict()
self._load_state_dict_pre_hooks = OrderedDict()
self._modules = OrderedDict()nn.module总结：
- 一个module可以包含多个子module
- 一个module相当于一个运算，必须实现forward()函数
- 每个module都有8个字典管理它的属性
模型容器与AlexNet构建
Containers
- nn.Sequential：按顺序包装多个网络层
- nn.ModuleList：像python的list一样包装多个网络层
- nn.ModuleDict：像python的dict一样包装多个网络层
nn.Sequential是nn.module的容器，用于按顺序包装一组网络层
Sequential的特性：
- 顺序性：各网络层之间严格按照顺序构建
- 自带forward()：自带的forward里，通过for循环依次执行前向传播运算
nn.ModuleList是nn.module的容器，用于包装一组网络层，以迭代方式调用网络层的主要方法：
- append()：在ModuleList后面添加网络层
- extend()：拼接两个ModuleList
- insert()：指定在ModuleList中位置插入网络层
nn.ModuleDict是nn.module的容器，用于包装一组网络层，以索引方式调用网络层主要方法：
- clear()：清空ModuleDict
- items()：返回可迭代的键值对（key-value pairs）
- keys()：返回字典的键（key）
- values()：返回字典的值（value）
- pop()：返回一对键值，并从字典中删除
nn.Sequential：顺序性，各网络层之间严格按照顺序执行，常用于block构建
nn.ModuleList：迭代性，常用于大量重复网构建，通过for循环实现重复构建
nn.ModuleDict：索引性，常用于可选择的网络层
AlexNet
AlexNet：2012年以高出第二名10多个百分点的准确率获得ImageNet分类任务冠军，开创了卷积神经网络的新时代
AlexNet特点如下：
- 采用ReLU：替代饱和激活函数，减轻梯度消失
- 采用LRN(Local Response Normalization)：对数据归一化，减轻梯度消失
- Dropout：提高全连接的鲁棒性，增加网络的泛化能力
- Data Augmentation：TenCrop，色彩修改
参考文献：ImageNet Classification with Deep Convolutional Neural Networks