重要论文——Dynamic Filter Networks
2016 NIPS ESAT-PSI, KU Leuven, iMinds
这篇文章，作者针对 以往的卷积操作中的卷积核，经过训练以后就是固定的，因此作者，提出一个 Dynamic Filter Networks，这个模型中的卷积核是 可学习的。我们来看一下这篇文章的方法：
Method
从上图可以看出， Dynamic Filter Networks包含两部分：Filter-generating network和Dynamic filtering layer。从名字可以看出来，第一部分的作用是，产生卷积核，第二部分是实现卷积核的乘法操作。
Dynamic convvolution layer
上图的左边部分，就是此操作，这种操作是Sample-specific，也就是说，每个样本的卷积核相同，但是针对input图片，每个位置的卷积核共享，这个也就平时的卷积操作，只是卷积核是 可学习型的
Dynamic local filtering layer
上图的右边部分，就是此操作，这种操作是：sample specific 和 position specific。也就是说，每个像素点对应的卷积核不相同。
思考
依照文章所说的，这种模型适用于有约束地方，比如：医学图像中，对图像的文字描述，可以通过文字描述生成卷积核。
实现
https://github.com/dbbert/dfn/blob/master/experiment_bouncingMnistOriginal_tensorflow.ipynb
# Unfold + matmul + fold flawlessly
# 可以实现tf中的extract_patch
# 链接忘记了
import torch
import torch.nn.functional as F
batch_size = 128
channels = 16
height, width = 32, 32
x = torch.randn(batch_size, channels, height, width)
kh, kw = 3, 3
dh, dw = 1, 1
# Pad tensor to get the same output
x = F.pad(x, (1, 1, 1, 1))
# get all image windows of size (kh, kw) and stride (dh, dw)
patches = x.unfold(2, kh, dh).unfold(3, kw, dw)
print(patches.shape) # [128, 16, 32, 32, 3, 3]
# Permute so that channels are next to patch dimension
patches = patches.permute(0, 2, 3, 1, 4, 5).contiguous() # [128, 32, 32, 16, 3, 3]
# View as [batch_size, height, width, channels*kh*kw]
patches = patches.view(*patches.size()[:3], -1)
print(patches.shape)
> torch.Size([128, 32, 32, 144])
2019/8/3