深度学习 零散知识点

from scipy.stats import truncnorm
a = truncnorm.rvs(0.0, 0.3, size=(128, 1))

实现效果是 a 元素取值范围为（0.0--0.3），且满足正态分布

如何确定隐含层层数 和 神经元个数

• 没有隐藏层：仅能够表示线性可分函数或决策
• 隐藏层数=1：可以拟合任何“包含从一个有限空间到另一个有限空间的连续映射”的函数
• 隐藏层数=2：搭配适当的激活函数可以表示任意精度的任意决策边界，并且可以拟合任何精度的任何平滑映射
• 隐藏层数>2：多出来的隐藏层可以学习复杂的描述（某种自动特征工程）

通常，对所有隐藏层使用相同数量的神经元就足够了。需要注意的是，与在每一层中添加更多的神经元相比，添加层层数将获得更大的性能提升。因此，不要在一个隐藏层中加入过多的神经元。

还有另一种方法可供参考，神经元数量通常可以由一下几个原则大致确定：

• 隐藏神经元的数量应在输入层的大小和输出层的大小之间。
• 隐藏神经元的数量应为输入层大小的2/3加上输出层大小的2/3。
• 隐藏神经元的数量应小于输入层大小的两倍。

~~参考：https://zhuanlan.zhihu.com/p/100419971