ML基本知识（十）零散知识点

持续更新中

深度学习

基本知识

• dropout 解释

  前向传播每一个batch_size时每个神经元都以一定的概率p被保留，而后反向传播的时候只是更新那些没有被删掉的神经元的梯度和与这些神经元相关的权重矩阵的参数。

  这样就可以导致每个batch_size个训练样本对应的模型都不相同，因而很多个数据训练下来后就会得到很多个模型的平均，因而相当于模型融合，导致模型的鲁棒性增强，从而最大程度抑制过拟合。test时以每个神经元都保留，但是要乘以p,这也是因为平均的作用(面试的时候不要说)。

• 正则化

  计算validation的loss时计算和不计算正则化项都无所谓，当然是越小越好。

Tensorflow

• padding 的SAME和 VALID的区别

  官方解释：

  For the SAME padding, the output height and width are computed as:
  out_height = ceil(float(in_height) / float(strides[1]))
  out_width = ceil(float(in_width) / float(strides[2]))
  

  可以发现，same的输出和输入的关系只与stride步长有关系，而与卷积核的大小没关系，而valid则是正常的卷积操作。