丢弃法Dropout

丢弃法Dropout：一种抑制过拟合的方法。

上图中提到的两种解决方案：1.downgrade_in_infer：训练时随机丢弃一部分神经元；预测时不丢弃神经元，这里提到的不丢弃神经元是指预测时不丢弃在训练时随机丢弃的那部分神经元，但是把全部分神经元的数值变小，来使最后的输出数据总大小不变。

2.upscale_in_train：训练时随机丢弃一部分神经元，但是把保留的那些神经元数值放大（放大比例看随机丢弃了多少神经元）；预测时原样输出所有神经元的信息。

1和2都是以降低丢弃部分神经元数值的影响来解决问题。

上图中出现的关键词：“随机数种子(random seed)在伪随机数生成器中用于生成伪随机数的初始数值。对于一个伪随机数生成器,从相同的随机数种子出发,可以得到相同的随机数序列。