深度学习（十）——花式卷积(2)
https://antkillerfarm.github.io/
花式卷积
depthwise separable convolution（续）
它包含一个深度方面的卷积（一个为每个通道单独执行的空间卷积，depthwise convolution），后面跟着一个逐点的卷积（一个跨通道的1×1卷积，pointwise convolution）。我们可以将其看作是首先求跨一个2D空间的相关性，然后再求跨一个1D空间的相关性。可以看出，这种2D+1D映射学起来比全 3D 映射更加简单。
在ImageNet数据集上，Xception的表现稍稍优于Inception v3，而且在一个有17000类的更大规模的图像分类数据集上的表现更是好得多。而它的模型参数的数量仅和Inception一样多。
论文：
《Xception: Deep Learning with Depthwise Separable Convolutions》
代码：
https://github.com/fchollet/keras/blob/master/keras/applications/xception.py
Francois Chollet，法国人。现为Google研究员。Keras的作者。
参考：
http://blog.csdn.net/mao_xiao_feng/article/details/78003476
tf.nn.depthwise_conv2d如何实现深度卷积?
http://blog.csdn.net/mao_xiao_feng/article/details/78002811
tf.nn.separable_conv2d如何实现深度可分卷积?
和Xception类似的还有MobileNets。
论文：
《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》
代码：
https://github.com/Zehaos/MobileNet
参考：
https://mp.weixin.qq.com/s/f3bmtbCY5BfA4v3movwLVg
向手机端神经网络进发：MobileNet压缩指南
https://mp.weixin.qq.com/s/mcK8M6pnHiZZRAkYVdaYGQ
MobileNet在手机端上的速度评测：iPhone 8 Plus竟不如iPhone 7 Plus
参考
https://github.com/vdumoulin/conv_arithmetic
Convolution arithmetic
http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html
Convolution arithmetic
https://mp.weixin.qq.com/s/dR2nhGqpz7OdmxKPYSaaxw
如何理解空洞卷积（dilated convolution）？
https://mp.weixin.qq.com/s/CLFbhWMcat4rN8YS_7q25g
这12张图生动的告诉你，深度学习中的卷积网络是怎么一回事？
https://mp.weixin.qq.com/s/kJEeKzC9pC375EjIJpTuzg
一文全解深度学习中的卷积
http://mp.weixin.qq.com/s/dvuX3Ih_DZrv0kgqFn8-lg
卷积神经网络结构变化——可变形卷积网络deformable convolutional networks
http://cs.nyu.edu/~fergus/drafts/utexas2.pdf
Deconvolutional Networks
https://zhuanlan.zhihu.com/p/22245268
CNN-反卷积
http://buptldy.github.io/2016/10/29/2016-10-29-deconv/
Transposed Convolution, Fractionally Strided Convolution or Deconvolution（中文blog）
https://buptldy.github.io/2016/10/01/2016-10-01-im2col/
Implementing convolution as a matrix multiplication（中文blog）
https://mp.weixin.qq.com/s/iN2LDAQ2ee-rQnlD3N1yaw
变形卷积核、可分离卷积？CNN中十大拍案叫绝的操作！
http://www.msra.cn/zh-cn/news/features/deformable-convolutional-networks-20170609
可变形卷积网络：计算机新“视”界
https://mp.weixin.qq.com/s/ybI8kJPRn7sH-hJbc5uqnw
CMU研究者探索新卷积方法：在实验中可媲美基准CNN
https://mp.weixin.qq.com/s/qReN6z8s45870HSMCMNatw
微软亚洲研究院：逐层集中Attention的卷积模型
http://blog.csdn.net/shuzfan/article/details/77964370
不规则卷积神经网络
Winograd
矩阵方面的数值计算，Shmuel Winograd是一个无法绕开的人物。
Shmuel Winograd, 1936年生，MIT本硕（1959年）+纽约大学博士（1968年）。此后一直在IBM当研究员，直到退休。IEEE Fellow，ACM Fellow，美国科学院院士。
Winograd FFT algorithm：一种FFT算法。FFT算法有很多，最知名的是Cooley–Tukey FFT algorithm。
Coppersmith–Winograd algorithm（1987年）：目前最快的矩阵乘法算法。复杂度是 O(n2.375477) 。矩阵乘法定义的复杂度是 O(n3) 。第一个小于3的算法是Strassen algorithm（1969年）（ O(n2.807355) ）。
Winograd small(short/minimal) convolution algorithm：一种快速的卷积算法，目前AI芯片领域的基础算法。
论文：
《The Coppersmith-Winograd Matrix Multiplication Algorithm》
《Fast Algorithms for Convolutional Neural Networks》