开课吧知识图谱实战【视频代码齐全】

 

当然，真正一直在研究CNN的专家是Yann LeCun，小扎后来拉他去FB做AI research的头。第一个CNN模型就是他搞出来的，即LeNet，原来就是做图像数字识别。不得不说，CNN非常适合2-D信号的处理任务，RNN呢，是时域上的拓展。

现在CNN在计算机视觉应用的非常成功，传统机器学习方法基本被弃之不用。其中最大的一个原因就是，图像数据的特征设计，即特征描述，一直是计算机视觉头痛的问题，在深度学习突破之前10多年，最成功的图像特征设计 (hand crafted feature)是SIFT，还有著名的Bag of visual words，一种VQ方法。后来大家把CNN模型和SIFT比较，发现结构还蛮像的：），之后不是也有文章说RNN和CRF很像吗。

 

 

简单回顾一下：

• AlexNet应该算第一个深度CNN；

• ZFNet采用DeconvNet和visualization技术可以监控学习过程；

• VGGNet采用小滤波器3X3去取代大滤波器5X5和7X7而降低计算复杂度；

• GoogleNet推广NIN的思路定义Inception基本模块（采用多尺度变换和不同大小滤波器组合，即1X1，3X3，5X5）构建模型；

• Highway Networks借鉴了RNN里面LSTM的gaiting单元；

• ResNet是革命性的工作，借鉴了Highway Networks的skip connection想法，可以训练大深度的模型提升性能，计算复杂度变小；

• Inception-V3/4用1X7和1X5取代大滤波器5X5和7X7，1X1滤波器做之前的特征瓶颈，这样卷积操作变成像跨通道（cross channel）的相关操作；

• DenseNet主要通过跨层链接解决vanishing gradient问题；

• SE-Net是针对特征选择的设计，gating机制还是被采用；

• 前段时间流行的Attention机制也是借鉴于LSTM，实现object-aware的context模型。