十八、深度学习模型30年演化史

 

1、模型分类
    深度学习是解决问题的一系列模型与方法，但深度学习模型不是深度学习领域中唯一的研究方向，且不一定是最重要的研究方向。除了模型之外，比较重要的还有优化算法、损失函数、采样方法等。
1.1 DNN 
    深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）
    DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层，包括前向传播算法，反向传播算法BP(back propagation)
    BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，Vanilla Neural Networks实际上就是BP神经网络。Vanilla本意是香草，在这里基本等同于raw，即最原始的CNN。
1.2 CNN 卷积神经网络
    能够将大数据量的图片有效的降维成小数据量 (并不影响结果)；能够保留图片的特征，类似人类的视觉原理；
    实际应用：图片分类、检索；目标定位检测；目标分割；人脸识别；骨骼识别。
1.3 RNN 循环神经网络
    传统神经网络的结构：输入层 – 隐藏层 – 输出层。RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层中，一起训练。RNN 有短期记忆问题，无法处理很长的输入序列；训