一文读懂深度学习模型近年来重要进展（附梳理图）

唐杰老师学生帮忙整理的Deep Learning模型最近若干年的重要进展。有4条脉络，整理很不错。分享一下。

track1 cv/tensor

1943年出现雏形，1958年研究认知的心理学家Frank发明了感知机，当时掀起一股热潮。后来Marvin Minsky（人工智能大师）和Seymour Papert发现感知机的缺陷：不能处理异或回路、计算能力不足以处理大型神经网络。停滞！

1986年hinton正式地提出反向传播训练MLP，尽管之前有人实际上这么做。

1979年，Fukushima 提出Neocognitron，有了卷积和池化的思想。

1998年，以Yann LeCun为首的研究人员实现了一个七层的卷积神经网络LeNet-5以识别手写数字。

后来svm兴起，这些方法没有很受重视。

2012年，Hinton组的AlexNet在ImageNet上以巨大优势夺冠，兴起深度学习的热潮。其实Alexnet是一个设计精巧的CNN，加上relu、dropout等技巧，并且更大。

这条思路被后人发展，出现了vgg、GooLenet等。

2016年，青年计算机视觉科学家何恺明在层次之间加入跳跃连接，Resnet极大增加了网络深度，效果有很大提升。一个将这个思路继续发展下去的是去年cvpr best paper densenet。

cv领域的特定任务出现了各种各样的模型（Mask-RCNN等），这里不一一介绍。

2017年，hinton认为反省传播和传统神经网络有缺陷，提出Capsule Net。但是目前在cifar等数据集上效果一半，这个思路还需要继续验证和发展。

track2 生成模型

传统的生成模型是要预测联合概率分布P(x,y)。

rbm这个模型其实是一个基于能量的模型，1986年的时候就有，他在2006年的时候重新拿出来作为一个生成模型，并且将其堆叠成为deep belief network，使用逐层贪婪或者wake-sleep的方法训练，不过这个模型效果也一般现在已经没什么人提了。但是从此开始hinton等人开始使用深度学习重新包装神经网络。

Auto-Encoder也是上个世纪80年代hinton就提出的模型，此时由于计算能力的进步也重新登上舞台。bengio等人又搞了denoise Auto-Encoder。

原文链接