深度学习 发展 优缺点 面试二

经过了几个月,对神经网络的优缺点又做了一些总结:


神经网络的发展经历了3次大的转折。由于早期的计算资源的限制,以及数据量不足,导致前2个时期提出的神经网络,大多规模很小,而且在一定程度上还不如传统的统计机器学习方法,而且神经网络的结构相对简单,因此并没有体现出神经网络的潜在价值。

在07年,hitton提出了利用自编码器来stack by stack的学习图像的表征,然后堆叠起来作为神经网络参数的初始化值,然后在统一采用反向传播算法(BP算法)进行训练,最终准确率有显著的提升。同样的,由于大数据的出现,以及GPU等计算资源的出现,使得深度神经网络的训练得到可能。


神经网络的优点:
(1)由于神经网络天生具备拟合任意复杂函数的特点,因此神经网络你和能力很强,可以做非常复杂的非线性映射。
(2)深度神经网络的参数很多,因此要得到的假设空间维度非常高,有很强大的表征能力。
(3)现代的深度神经网络大多可以用来提取图像,语音,文本的抽象特征,而且提取出来的特征要比人为设定的特定具有更强的泛化性能,可以应用到多个领域。可以学习浅层语义信息,同样可以学习深层语义信息,因此这样便可以自动获取特征。为后面各个不同的任务提供特征。
(4)神经网络通过设计不同的结构,可以改变网络提取特征的方法,同样也可以对拟合目标函数达到不同的效果。其中,从早些时候的Alexnet,到后面的vgg16, vgg19, googlenet, resnet,以及近期提出的双通道网络,都围着这降低参数量,学习更加丰富的特征,以及加快训练速度等角度提出的,可见神经网络具有非常大的灵活性,可以适应于多种不同的任务。


神经网络的缺点:
(1)神经网络强大的假设空间,使得神经网络极易陷入局部最优,导致模型泛化能力很差,使得模型过拟合见到的数据分布,并不能很好的预测未知的数据。“没有免费的午餐”即表示使用复杂的模型,也会带来模型泛化能力的下降。因此基于泛化能力,提出了许多相应的措施,比如提出dropout在训练阶段,选择性的遮掉一部分隐藏节点,使得最终的模型节点点没有太多的趋同效果,相当于训练了多个子网络,达到ensemble的效果。
(2)神经网络参数量巨大,倒是训练起来非常慢,对于存储也非常不方便,因此基于这个问题,现在不断的更改网络结构,先训练大网络,然后在迁移到小网络结构,使得参数量大幅度降低,但是准确率不会有明显降低。
(3)在网络很深的情况下,会出现梯度消失,因此会提出relu,tanh等激活函数来方式梯度消失。
(4)网络很深,会使得收敛很慢,同样提出了batch normalization,来使得训练深层的网络成为可能。

你可能感兴趣的:(深度学习)