nn.init.normal_()and.uniform_()and.constant_()

作用:

将给定的值填充到tensor中

原因:

使neural network 中的各层神经元的数据分布尽量保持相等,有利于信息的流动

1 torch.nn.init.uniform_(tensor, a, b)

均匀分布 ~ U(a, b)

2 torch.nn.init.normal_(tensor, mean, std)

正态分布 ~ N(mean, std)

3 torch.nn.init.constant_(tensor, value)

初始化整个矩阵为常数 value