深度学习 零散知识点

from scipy.stats import truncnorm
a = truncnorm.rvs(0.0, 0.3, size=(128, 1))

实现效果是 a 元素取值范围为(0.0--0.3),且满足正态分布

如何确定隐含层层数 和 神经元个数

深度学习 零散知识点_第1张图片

  • 没有隐藏层:仅能够表示线性可分函数或决策
  • 隐藏层数=1:可以拟合任何“包含从一个有限空间到另一个有限空间的连续映射”的函数
  • 隐藏层数=2:搭配适当的激活函数可以表示任意精度的任意决策边界,并且可以拟合任何精度的任何平滑映射
  • 隐藏层数>2:多出来的隐藏层可以学习复杂的描述(某种自动特征工程)

通常,对所有隐藏层使用相同数量的神经元就足够了。需要注意的是,与在每一层中添加更多的神经元相比,添加层层数将获得更大的性能提升。因此,不要在一个隐藏层中加入过多的神经元

还有另一种方法可供参考,神经元数量通常可以由一下几个原则大致确定:

  • 隐藏神经元的数量应在输入层的大小和输出层的大小之间。
  • 隐藏神经元的数量应为输入层大小的2/3加上输出层大小的2/3。
  • 隐藏神经元的数量应小于输入层大小的两倍。

~~参考:https://zhuanlan.zhihu.com/p/100419971

你可能感兴趣的:(深度学习)