『PyTorch』权值初始化

1. 梯度消失与梯度爆炸

• 就是梯度趋于零或者无穷，梯度消失更容易出现

2. PyTorch提供的一些权值和偏置初始化方法

2.1 Xavier均匀分布

• 不适用ReLU，适用于饱和函数，如sigmoid，tanh

nn.xavier_uniform_(tensor, gain=1.)

2.2 Xavier正态分布

• 不适用ReLU，适用于饱和函数，如sigmoid，tanh

nn.xavier_normal_(tensor, gain=1.)

2.3. Kaiming均匀分布

• 适用于ReLu

nn.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

2.4 Kaiming正态分布

• 适用于ReLu

nn.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

2.5 均匀分布

nn.uniform_(tensor, a=0., b=1.)

2.6 正态分布

 nn.normal_(tensor, mean=0., std=1.)

2.7 常数分布

nn.constant_(tensor, val)
nn.ones_(tensor)
nn.zeros_(tensor)

2.8 正交矩阵初始化

nn.orthogonal_(tensor, gain=1)

2.9 单位矩阵初始化

nn.eye_(tensor)

2.10 稀疏矩阵初始化

nn.sparse_(tensor, sparsity, std=0.01)

3. 使用方法

在网络类内部定义initialize_weights(self)方法

nn.init.方法名(self.weight.data)
nn.init.方法名(self.bias.data)

或者，由于这些data都是Tensor，也可以使用Tensor的方法来初始化