数值稳定性

李沐《动手学深度学习》中《数值稳定性+ 模型初始化和激活函数》这一章,由于花了很多精力理解数学公式,一开始没有听明白这一章的目的。

后来明白了,课程中所讲的数学公式推导,就是为了证明Xavier的起作用的数学原理,Xavier是权重初始化的一种方法,通过控制权重的方差为一个固定值来起到稳定数值的作用。

你可能感兴趣的:(动手学深度学习,深度学习)