人工智能大事记-持续更新中

20世纪30年代末到50年代,来自数学、心理学、工程学、神经学等学科的科学家开始探讨制造人工大脑的可能性。维纳(Wiener)的控制论、香农(Shannon)提出的信息论,以及图灵(Turing)的计算理论等,为人工智能的出现奠定了基础。

BP

1986年,Geoffrey Hinton提出了前馈算法,一个通过对输入数据按照重要进行排序的精准神经网络。

卷积

1989年,Yann LeCun写了另外一篇旷世之作,描述了卷积神经网络。这些发现突破了计算机难以解决的问题,譬如从一张照片中找到一只猫。

LSTM

1997年,Schmidhuber发明了长短期记忆网络(LSTM)。

AlexNet

2012年,计算机视觉界顶级比赛ILSVRC中,多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人,同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因

  1. 大量数据,Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet;
  2. GPU,这种高度并行的计算神器确实助了洪荒之力,没有神器在手,Alex估计不敢搞太复杂的模型;
  3. 算法的改进,包括网络变深、数据增强、ReLU、Dropout等。


    AlexNet

GoogleNet VGGNet

2014年,Google公司的GoogleNet和牛津大学视觉几何组的VGGNet在当年的ILSVRC中再一次各自使用深度卷积神经网络取得了优异的成绩,并在分类错误率上优于AlexNet数个百分点,再一次将深度卷积神经网络推上了新的巅峰。


GoogleNet

VGG

ResNet

2015年 微软亚洲研究院何恺明等发明ResNet,ResNet的核心思想是引入所谓的“身份近路连接(identity shortcut connection)”,可以跳过一层或多层,从而解决梯度下降问题。
可以注意到残差网络有这样几个特点:1. 网络较瘦,控制了参数数量;2. 存在明显层级,特征图个数逐层递进,保证输出特征表达能力;3. 使用了较少的池化层,大量使用下采样,提高传播效率;4. 没有使用Dropout,利用BN和全局平均池化进行正则化,加快了训练速度;5. 层数较高时减少了3x3卷积个数,并用1x1卷积控制了3x3卷积的输入输出特征图数量,称这种结构为“瓶颈”(bottleneck)。


ResNet

GAN

2014年,Ian Goodfellow因提出了生成对抗网络(GANs)而闻名,他被誉为“GANs之父”,甚至被推举为人工智能领域的顶级专家。

你可能感兴趣的:(人工智能大事记-持续更新中)