深度学习发展史

本文从4个方面（张量、生成模型、序列学习、深度强化学习）追踪深度学习几十年的发展史。

主要按最早研究出现的时间，从4个方面来追踪深度学习的发展史。

1、张量

1958年Frank提出感知机，但后来被一些学者发现因算力的不足，制约了较大神经网络的计算，导致很长时间发展缓慢。

Fukushima在1979年左右提出Neocognitron，感觉这是卷积和池化的雏形。

Hinton在1986年提出反向传播的思想和多层感知机（BPNN/MLP），有非常大的意义，对未来几十年（可以说直到现在）影响深远。

接下来比较重要的发展是，LeCun在1998年提出LeNet-5，7层的CNN做数字识别。

然后AlexNet在12年在ImageNet夺冠，主要是CNN+Dropout+Relu，又是Hinton极大的带动了DL的发展，大佬的地位毋庸置疑。另外相似的还有15年的GoogLeNet。

总算有华人大佬作出大贡献了，16年何恺明（CV领域应该无人不知）提出Resnet，还拿了best paper，影响较大，当然效果也很好。另外相似的还有17年的DenseNet。

17年Capsule Network登场了，又是Hinton。我比较看好胶囊网络在NLP领域的发展，虽然现在还没太明显的效果。因为用胶囊网络来做文本的特征表示的话，可以极大的丰富特征，更适合处理文本这种比较灵活的数据。

 

2 、生成模型

上世纪80年代提出RBM，06年叠加成Deep Belief Network（DBN），这算是重新叠加网络的一个比较重要的开始吧。

上世纪80年代Hinton提出Auto-Encode，过了较长时间Bengio在08年提出Denoise Auto-Encode。Welling在13年提出Variational Auto-Encode。

接下来，在14年Goodfellow和Bengio等提出GAN，从此生成网络不仅是AE以及其变种（Denoise Auto-Encode、Variational Auto-Encode等）了，可以这么说：GAN的出现极大的提高了生成模型的地位和热点，GAN也是席卷NLP、CV、AI等领域的各大顶会，甚至是一些best paper。另外，陆续出现很多很多GAN的变种，比如DCGAN、CGAN、PGGAN、LAPGAN、InfoGAN、WGAN、F-GAN、SeqGAN、LeakGAN等。

 

3、 序列学习

1982年提出hopfield network，1997年 Schmidhuber提出LSTM。Hinton组在13年把RNN用在语音识别上取得巨大突破，RNN立马爆火。

03年提出LM（语言模型），13年提出w2v，佩服Bengio。w2v带来的影响不言而喻，目前NLP领域基本上所有Paper都会用到词向量，包括也影响了后面出现的Glove、FastText、ELMo（18年2月）、Transformer（18年6月）、Bert（18年10月提出，Jacob一战封神，我感觉至少是18年NLP领域最大的发展，甚至可以说是近几年最大的发展）等。Bert的出现，很可能改变所有主流NLP任务的打法和Baseline。

还有一个分支，14年出现Seq2Seq，这个重要性也无需赘述了，NLP领域的都知道。然后15年出现Charater CNN，17年出现self-attention。

 

4、 深度强化学习

提到强化学习就不得不提这Deep Mind、AlphaGo以及其变种、Silver。13年提出Deep Q-learning，15年提出Double DQN，16年提出Dueling Net。 15年的DDPG和16年的A3C都是NN+Policy Gradient，也应用在不少领域。16年的AlphaGo（除了AI领域，很多不懂AI的人都知道，甚至可以说是AI爆火的最大助力），17年出现更疯狂的Alpha Zero。

 

了解更多？欢迎关注

微信公众号：freeinvest