NNDL 实验八 网络优化与正则化(4)参数初始化-Xavier

7.4 参数初始化

7.4.1 基于固定方差的参数初始化

高斯分布均匀分布初始化的实现方式可以参考第4.4.1节参数初始化代码。

7.4.2 基于方差缩放的参数初始化

本节动手实现Xavier初始化,并观察其效果。

7.4.2.1 模型构建

7.4.2.2 观察模型神经元的方差变化

7.4.2.3 观察模型训练收敛性

你可能感兴趣的:(DeepLearning,深度学习,人工智能)