卷积、池化、激励函数的顺序

以下内容为个人的看法：

顺序：卷积---池化---激励函数

我们知道卷积肯定是在第一层，毕竟  σ（wx+b），wx+b 就是卷积操作，那为什么池化要在激励函数之前呢？

原因解析：假设激励函数是 relu 激励函数：

并假设我们卷积后的值为：3，-2，1，2 ；

---

对于 avg_poolling :

先 relu 再池化：当经过 relu 函数之后，得到的值为：relu(3) = 3，relu(-2) = 0，relu(1) = 1，relu(2) = 2，

则接下来经过 avg_pooling 结果为 ( 3+0+1+2 ) / 4 = 7/4

先池化在 relu： 经过 avg_pooling 结果为 (3-2+1+2)/4 = 4/4 = 1, 再经过 relu 函数，最终结果为 relu (1) = 1  

---

我们看到，其实这两种操作后，得到的结果是不一样的。但是如果我们先 relu 再池化，会将卷积后的第二个值 -2 给过滤掉，当我们紧接着做 avg_pooling 时，可以认为丢失了一些信息。所以我们选择先池化再接激励函数。       

---

对于 MAX_pooling，其实先池化再接激励函数，或者先激励函数再接池化是一样的。两个操作是可以交换的。

先 relu 再池化：当经过 relu 函数之后，得到的值为：3，0，1，2，再经过 MAX_poolling 结果为 MAX（3，0，1，2） = 3

先池化在 relu： 经过 MAX_pooling 结果为MAX (3，-2，1，2） = 3， 再经过 relu 函数，最终结果为 relu (3) = 3 

---

完！