PyTorch常用参数初始化方法:【均匀分布、正态(高斯)分布、Xavier、kaiming、正交矩阵、稀疏矩阵、常数、单位矩阵、零填充】

一、“均匀分布”初始化

torch.nn.init.uniform_(tensor, a=0, b=1)

从均匀分布U(a, b)中采样,初始化张量。

二、“正态(高斯)分布”初始化

三、Xavier初始化

四、kaiming初始化

五、正交矩阵初始化

六、稀疏矩阵初始化

七、常数初始化

八、单位矩阵初始化

九、零填充初始化




参考资料:
PyTorch常用参数初始化方法详解
PyTorch常用参数初始化方法详解

你可能感兴趣的:(#,Pytorch,pytorch,矩阵,深度学习)