pytorch文档学习

1. 构建网络

模型的定义就是先继承，再构建组件，最后组装。 其中基本组件可从 torch.nn 中获取，或者从 torch.nn.functional 中获取，同时为了方便 重复使用组件，可以使用 Sequential 容器将一系列组件包起来，最后在 forward()函数中将 这些组件组装成你的模型。、

2. bn主要是为了让每一批次数据具有方差一致性

3 分类神经网络输出是一个向量，使用softmax或sigmiod使其变成一个概率分布，再利用交叉熵计算loss；

4 KL 散度( Kullback–Leibler divergence) 又称为相对熵(Relative Entropy)，用于描述两个预测和实际概率分布之间的差异。

5 SmoothL1Loss平滑 L1 损失，属于 Huber Loss 中的一种，常用于回归问题，其最大的特点是对离群点（outliers）噪声不敏感，

6 zero_grad()梯度归零

7 state_dict()获取当前模型参数，以一个有序字典形式返回。

8 一阶矩为变量（梯度）的期望，二阶矩为变量平方的期望。

9 Adam 利用梯度的一阶矩估计和二阶矩估计动态的调整学习率。

10 梯度及权值分布可视化和卷积核可视化。