deeplearning.ai 改善深度神经网络(正则化、优化、mini-batch等)附代码作业答案
一、初始化1.为什么神经网络的所有参数不能全部初始化为0>?若w初始化为0,很可能导致模型失效,无法收敛。也就是说如果我们初始将所有的w初始化为0,那么进行前向传播时每一层得到的值都是一样,这样一来当我们使用反向传播时,传回的梯度也是一样的,这就导致了我们更新参数后w还是一样的,这就使得我们的NN不能各自学习到很好的特征了。可以看这里2.XavierInitializationXavierInit