人工智能大事记-持续更新中

20世纪30年代末到50年代，来自数学、心理学、工程学、神经学等学科的科学家开始探讨制造人工大脑的可能性。维纳（Wiener）的控制论、香农（Shannon）提出的信息论，以及图灵（Turing）的计算理论等，为人工智能的出现奠定了基础。

BP

1986年，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。

卷积

1989年，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。

LSTM

1997年，Schmidhuber发明了长短期记忆网络（LSTM）。

AlexNet

2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因

1. 大量数据，Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet；
2. GPU，这种高度并行的计算神器确实助了洪荒之力，没有神器在手，Alex估计不敢搞太复杂的模型；

3. 算法的改进，包括网络变深、数据增强、ReLU、Dropout等。

   
   
   AlexNet

GoogleNet VGGNet

2014年，Google公司的GoogleNet和牛津大学视觉几何组的VGGNet在当年的ILSVRC中再一次各自使用深度卷积神经网络取得了优异的成绩，并在分类错误率上优于AlexNet数个百分点，再一次将深度卷积神经网络推上了新的巅峰。

GoogleNet

VGG

ResNet

2015年 微软亚洲研究院何恺明等发明ResNet，ResNet的核心思想是引入所谓的“身份近路连接（identity shortcut connection）”，可以跳过一层或多层，从而解决梯度下降问题。
可以注意到残差网络有这样几个特点：1. 网络较瘦，控制了参数数量；2. 存在明显层级，特征图个数逐层递进，保证输出特征表达能力；3. 使用了较少的池化层，大量使用下采样，提高传播效率；4. 没有使用Dropout，利用BN和全局平均池化进行正则化，加快了训练速度；5. 层数较高时减少了3x3卷积个数，并用1x1卷积控制了3x3卷积的输入输出特征图数量，称这种结构为“瓶颈”(bottleneck)。

ResNet

GAN

2014年，Ian Goodfellow因提出了生成对抗网络（GANs）而闻名，他被誉为“GANs之父”，甚至被推举为人工智能领域的顶级专家。