Pytorch中的网络参数（权重）初始化函数总结

Pytorch之网络初始化

---

Pytorch中的网络参数初始化方法总结

权重初始化方法位于torch.nn.init中

 

1、torch.nn.init.calculate_gain(nonlinearity, param=None)

参数：nonlinearity - 非线性函数；param - 非线性函数的可选参数

对于给定的非线性函数，返回推荐的增益值。

 

2、常数初始化，torch.nn.init.constant_(tensor, val)

参数：
val用来填充张量的值

 

3、均匀分布初始化，torch.nn.init.uniform_(tensor, a=0, b=1)

从均匀分布U(a, b)中生成值，填充输入的张量或变量

参数：
a 均匀分布的下界
b 均匀分布的上界

 

4、正态分布初始化，torch.nn.init.normal_(tensor, mean=0, std=1)

从给定均值和标准差的正态分布N(mean, std)中生成值，填充输入的张量或变量

参数：

mean 正态分布的均值
std   正态分布的标准差

 

5、Xavier 均匀分布，torch.nn.init.xavier_uniform_(tensor, gain=1)

用一个均匀分布生成值，填充输入的张量或变量。结果张量中的值采样自U(-a, a)，其中a= gain * sqrt( 2/(fan_in + fan_out))* sqrt(3).

参数：

gain 可选的缩放因子

 

6、Xavier 正态分布，torch.nn.init.xavier_normal_(tensor, gain=1)

用一个正态分布生成值，填充输入的张量或变量。结果张量中的值采样自均值为0，标准差为gain * sqrt(2/(fan_in + fan_out))的正态分布。

 

7、kaiming 均匀分布，torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

用一个均匀分布生成值，填充输入的张量或变量。结果张量中的值采样自U(-bound, bound)，其中

                                                              

参数：

a：这层之后使用的rectifier的负斜率系数（ReLU的默认值为0）

Mode：fan_in 保留前向传播时权值方差的大小，fan_out 保留反向传播时的大小。默认：fan_in

nonlinearity：非线性函数，推荐使用relu和leaky_relu，默认leaky_relu

 

8、kaiming 正态分布，torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

用一个正态分布生成值，填充输入的张量或变量。结果张量中的值采样自N(0,std)的正态分布。

                                                                     

参数：同7参数说明

9、单位矩阵初始化，torch.nn.init.eye_(tensor)

用单位矩阵来填充2维输入张量或变量。在线性层尽可能多的保存输入特性。

 

10、正交初始化，torch.nn.init.orthogonal_(tensor, gain=1)

用（半）正交矩阵填充输入的张量或变量。

 

11、稀疏初始化，torch.nn.init.sparse_(tensor, sparsity, std=0.01)

将2维的输入张量或变量当做稀疏矩阵填充，其中非零元素根据一个均值为0，标准差为std的正态分布生成。

参数：

tensor – n维的torch.Tensor或autograd.Variable
sparsity - 每列中需要被设置成零的元素比例
std - 用于生成非零值的正态分布的标准差

 

12、狄拉克δ函数初始化，torch.nn.init.dirac_(tensor)

使用狄拉克δ函数填充输入的torch.Tensor

参数：tensor需要是{3, 4, 5}维的torch.Tensor