对池化操作和激活函数的理解

写这个笔记的时候，忽闻金庸去世，“飞雪连天射白鹿，笑书神侠倚碧鸳”纪念大侠的归去，也纪念我那失去的青春。

• 一、池化操作
  1、池化的目的：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。
  2、对池化的理解：池化可以理解为一种采样，获取图像的概要统计特征。就好像在太空上俯瞰地球，看到的只有山脊和雪峰。这即是对特征进行宏观上的进一步抽象。 经过池化后，得到的是 概要统计特征 。它们不仅 具有低得多的维度 (相比使用所有提取得到的特征)，同时还会 改善结果(不容易过拟合) 。
  max_pooling： 夜晚的地球俯瞰图，灯光耀眼的穿透性让人们只注意到最max的部分，产生亮光区域被放大的视觉错觉。故而 max_pooling 对较抽象一点的特征（如纹理）提取更好。
  average_pooling： 白天的地球俯瞰图，幅员辽阔的地球表面，仿佛被经过了二次插值的缩小，所有看到的都是像素点取平均的结果。故而 average_pooling 对较形象的特征（如背景信息）保留更好。
  另一种理解：
  池化=涨水
  卷积的目的是为了得到物体的边缘形状
  可以想象水要了解山立体的形状
  水位低时得出山脚的形状
  水位中等时得出山腰的形状
  水位高时得出山顶的形状
  三点就可以大致描出山的简笔画
  池化的过程=升高水位(扩大矩阵网格)
  卷积的过程是区分哪里是水，哪里是山

  3、具体操作模型
  参考：
  https://blog.csdn.net/app_12062011/article/details/57075538
  https://blog.csdn.net/kebu12345678/article/details/54923118?utm_source=blogxgwz0
  4、常用池化函数
  tf.nn.max_pool(value, ksize, strides, padding, name=None)
  参数是四个，和卷积很类似：

  第一个参数value：需要池化的输入，一般池化层接在卷积层后面，所以输入通常是feature map，依然是[batch, height, width, channels]这样的shape

  第二个参数ksize：池化窗口的大小，取一个四维向量，一般是[1, height, width, 1]，因为我们不想在batch和channels上做池化，所以这两个维度设为了1

  第三个参数strides：和卷积类似，窗口在每一个维度上滑动的步长，一般也是[1, stride,stride, 1]

  第四个参数padding：和卷积类似，可以取’VALID’ 或者’SAME’

  返回一个Tensor，类型不变，shape仍然是[batch, height, width, channels]这种形式

• 二、激活函数ReLu
  1、激活函数的作用：如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。
  如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
  2、都有那些激活函数
  sigmoid函数、Tanh函数、ReLU、softmax函数
  一般情况下，在多分类问题中，softmax函数通常用作全链接层的激活函数
  1、ReLU激活的目的：1）克服梯度消失的问题;2）加快训练速度
  2、ReLU激活函数的原理：激活函数又称为线性整流函数（Rectified Linear Unit, ReLU），或者修正线性单元。就是将输入小于0的值幅值为0，输入大于0的值不变。
  3、函数代码测试结果如下：

  import tensorflow as tf
  a = tf.constant([-1.0, 2.0,-3.6])
  with tf.Session() as sess:
  b = tf.nn.relu(a)
  print(sess.run(b))

  测试结果为：
  [0. 2. 0.]

参考文献：https://blog.csdn.net/JNingWei/article/details/78833319