09-Pytorch中的序列化容器

09-Pytorch中的序列化容器_第1张图片

目录

1.梯度消失和梯度爆炸

1.1 梯度消失

1.2 梯度爆炸

1.3 解决梯度消失或梯度爆炸的经验

2.nn.Sequential

3.nn.BatchNorm1d

4.nn.Dropout


1.梯度消失和梯度爆炸

在使用pytorch中的序列化容器之前,我们先来了解一下常见的梯度消失和梯度爆炸的问题。

09-Pytorch中的序列化容器_第2张图片

1.1 梯度消失

09-Pytorch中的序列化容器_第3张图片

09-Pytorch中的序列化容器_第4张图片

1.2 梯度爆炸

09-Pytorch中的序列化容器_第5张图片

1.3 解决梯度消失或梯度爆炸的经验

09-Pytorch中的序列化容器_第6张图片

2.nn.Sequential

09-Pytorch中的序列化容器_第7张图片

3.nn.BatchNorm1d

09-Pytorch中的序列化容器_第8张图片

4.nn.Dropout

09-Pytorch中的序列化容器_第9张图片

你可能感兴趣的:(人工智能,pytorch,python,深度学习,NLP)