《动手学深度学习 Pytorch版》 6.5 汇聚层
import torch
from torch import nn
from d2l import torch as d2l
6.5.1 最大汇聚和平均汇聚
汇聚层和卷积层类似，区别在于汇聚层不带包含参数，汇聚操作是确定性的，通常计算汇聚窗口中所有元素的最大值或平均值，即最大汇聚和平均汇聚。
def pool2d(X, pool_size, mode='max'):
p_h, p_w = pool_size # 和互相关运算差不多
Y = torch.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w + 1))
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
if mode == 'max':
Y[i, j] = X[i: i + p_h, j: j + p_w].max()
elif mode == 'avg':
Y[i, j] = X[i: i + p_h, j: j + p_w].mean()
return Y
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
pool2d(X, (2, 2)), pool2d(X, (2, 2), 'avg')
(tensor([[4., 5.],
[7., 8.]]),
tensor([[2., 3.],
[5., 6.]]))
6.5.2 填充和步幅
汇聚层和卷积层一样可以通过填充和步幅获得所需的输出形状。
X = torch.arange(16, dtype=torch.float32).reshape((1, 1, 4, 4)) # 构建一个四维度的输入张量
X
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
pool2d = nn.MaxPool2d(3) # 默认情况下，步幅为 (3,3)
pool2d(X)
tensor([[[[10.]]]])
pool2d = nn.MaxPool2d(3, padding=1, stride=2) # 步幅也可以手动设定
pool2d(X)
tensor([[[[ 5., 7.],
[13., 15.]]]])
pool2d = nn.MaxPool2d((2, 3), stride=(2, 3), padding=(0, 1))
pool2d(X)
tensor([[[[ 5., 7.],
[13., 15.]]]])
6.5.3 多个通道
汇聚层在每个通道上单独计算，也就是说输入通道数和输出通道数相同。
X = torch.cat((X, X + 1), 1) # 加上两个通道
X, X.shape
(tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]],
[[ 1., 2., 3., 4.],
[ 5., 6., 7., 8.],
[ 9., 10., 11., 12.],
[13., 14., 15., 16.]]]]),
torch.Size([1, 2, 4, 4]))
pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)
tensor([[[[ 5., 7.],
[13., 15.]],
[[ 6., 8.],
[14., 16.]]]])
练习
（1）尝试将平均汇聚层作为卷积层的特例情况实现。
（2）尝试将最大汇聚层作为卷积层的特例情况实现。
不会
（3）假设汇聚层的输入大小为 c × h × w c\times h\times w c×h×w，则汇聚窗口的形状为 p h × p w p_h\times p_w ph×pw，填充为 ( p h , p w ) (p_h,p_w) (ph,pw)，步幅为 ( s h , s w ) (s_h,s_w) (sh,sw)。这个汇聚层的计算成本是多少？
⌊ ( n h − k h + p h + s h ) / s h ⌋ × ⌊ ( n w − k w + p w + s w ) / s w ⌋ × c × p h × p w \left\lfloor(n_h-k_h+p_h+s_h)/s_h\right\rfloor\times\left\lfloor(n_w-k_w+p_w+s_w)/s_w\right\rfloor\times c\times p_h\times p_w ⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋×c×ph×pw
（4）为什么最大汇聚层和平均汇聚层的工作方式不同？
啥叫工作方式不同？需要最大就最大，需要平均就平均呗。
（5）我们是否需要最小汇聚层？可以用已知函数替代它吗？
最小没必要吧，带0的全给整成0了，没意义。
（6）除了平均汇聚层和最大汇聚层，是否还有其他函数可以考虑？（提示：回想一下 softmax。）为什么它就不流行？
卷积很大程度上减少了计算量，把计算量再拉回去属于是自断优点了。