- 常用的初始化方法
1.1 均匀分布初始化（uniform_）
使值服从均匀分布 U(a,b)
torch.nn.init.uniform_(tensor, a=0.0, b=1.0)
复制代码
tensor——一个n维的torch.Tensor
a – 均匀分布的下界
b – 均匀分布的上限
1.2 正态分布初始化（normal_）
使值服从正态分布 N(mean, std)，默认值为 0，1
torch.nn.init.normal_(tensor, mean=0.0, std=1.0)
复制代码
tensor——一个n维的torch.Tensor
mean – 正态分布的均值
std – 正态分布的标准偏差
1.3 常数初始化（constant_）
使值为常数，用val来填充
torch.nn.init.constant_(tensor, val)
复制代码
tensor——一个n维的torch.Tensor
val – 用来填充张量的值
1.4 一值初始化（ones_）
用1来填充tensor
torch.nn.init.ones_(tensor)
复制代码
1.5 零值初始化（zeros_）
用0来填充tensor
torch.nn.init.zeros_(tensor)
复制代码
1.6 单位矩阵初始化（eye_）
将二维 tensor 初始化为单位矩阵
torch.nn.init.eye_(tensor)
复制代码
1.7 狄拉克初始化（dirac_）
用Dirac δ函数来填充{3, 4, 5}维输入张量或变量。在卷积层尽可能多的保存输入通道特性。在groups >1的情况下，每组通道保持身份
torch.nn.init.dirac_(tensor, groups=1)
复制代码
tensor – {3, 4, 5} 维torch.Tensor
groups (optional) – conv 层中的组数（默认值：1）
1.8 正交初始化（orthogonal_）
使得 tensor 是正交的
torch.nn.init.orthogonal_(tensor, gain=1)
复制代码
1.9 稀疏初始化（sparse_）
从正态分布 N～（0. std）中进行稀疏化，使每一个 column 有一部分为 0
torch.nn.init.sparse_(tensor, sparsity, std=0.01)
复制代码
tensor——一个n维的torch.Tensor
sparsity - 每列中要设置为零的元素的比例
std – 用于生成非零值的正态分布的标准偏差
1.10 Xavier初始化
Xavier 初始化方法，论文在《Understanding the difficulty of training deep feedforward neural networks》。公式推导是从“方差一致性”出发，初始化的分布有均匀分布和正态分布两种。
1.10.1 Xavier均匀分布（xavier_uniform_）
torch.nn.init.xavier_uniform_(tensor, gain=1.0)
复制代码
xavier 初始化方法中服从均匀分布 U(−a,a) ，分布的参数 a = gain * sqrt(6/fan_in+fan_out)，
这里有一个 gain，增益的大小是依据激活函数类型来设定
eg：
nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))
复制代码
1.10.2 Xavier正态分布（xavier_normal_）
torch.nn.init.xavier_normal_(tensor, gain=1.0)
复制代码
xavier 初始化方法中服从正态分布，mean=0,std = gain * sqrt(2/fan_in + fan_out)
1.11 kaiming初始化
kaiming 初始化方法，论文在《 Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification 》，公式推导同样从“方差一致性”出法，kaiming是针对 xavier 初始化方法在 relu 这一类激活函数表现不佳而提出的改进
1.11.1 kaiming均匀分布（kaiming_uniform_）
torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')
复制代码
tensor——一个n维的torch.Tensor
a – 为激活函数的负半轴的斜率（仅与“leaky_relu”一起使用）,relu 是 0
mode——“fan_in”（默认）或“fan_out”。 选择“fan_in”会保留前向传递中权重方差的大小。 选择“fan_out”会保留向后传递的幅度。
nonlinearity – 非线性函数（nn.functional 名称），建议仅与 'relu' 或 'leaky_relu'（默认）一起使用。
此为均匀分布，U～（-bound, bound）, bound = sqrt(6/(1+a^2)*fan_in)
1.11.2 kaiming正态分布（kaiming_normal_）
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')
复制代码
tensor——一个n维的torch.Tensor
a – 为激活函数的负半轴的斜率（仅与“leaky_relu”一起使用）,relu 是 0
mode——可选为 fan_in 或 fan_out, fan_in 使正向传播时，方差一致;fan_out 使反向传播时，方差一致
nonlinearity – 非线性函数（nn.functional 名称），建议仅与 'relu' 或 'leaky_relu'（默认）一起使用。
此为 0 均值的正态分布，N～ (0,std)，其中 std = sqrt(2/(1+a^2)*fan_in)
eg：
nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu')
复制代码
1.12 计算增益
torch.nn.init.calculate_gain(nonlinearity, param=None)
复制代码
nonlinearity–非线性函数(nn.functional name)
param–非线性函数的可选参数
返回给定非线性函数的推荐增益值。这些值如下：