一篇适合新手的深度学习综述

一篇适合新手的深度学习综述

1.简介

深度学习方法由多个层组成，以学习具有多个抽象层次的数据特征。深度学习（DL）（也称为分层学习（Hierarchical Learning））是指在多个计算阶段中精确地分配信用，以转换网络中的聚合激活。为了学习复杂的功能，深度架构被用于多个抽象层次，即非线性操作；例如 ANNs，具有许多隐藏层。用准确的话总结就是，深度学习是机器学习的一个子领域，它使用了多层次的非线性信息处理和抽象，用于有监督或无监督的特征学习、表示、分类和模式识别。

2.目录

1.深度学习（DL）方法

2.深度架构（即深度深度神经网络（DNN））

3.深度生成模型（DGM）

3.优秀论文

4.深度学习方法

1.深度监督学习

​ 监督学习应用在当数据标记，分类器分类或数值预测的情况

2.深度无监督学习

​ 当输入数据没有标记时，可应用无监督学习方法从数据中提取特征并对其进行分类或标记

3.深度强化学习

强化学习使用奖惩系统预测学习模型的下一步，主要应用于游戏和机器人，解决平常的决策问题。

5.深度神经网络

5.1 深度自编码器

自编码器(VAE)是神经网络（NN），输出即输入。AE采用原始输入，编码为压缩表示，然后解码已重新上输入。在深度 AE 中，低隐藏层用于编码，高隐藏层用于解码，误差反向传播用于训练.。

5.1.1 变分自编码器

变分自动编码器 (VAE) 可以算作解码器。VAE 建立在标准神经网络上，可以通过随机梯度下降训练 (Doersch,2016)。

5.1.2 多层降噪自编码器

在早期的自编码器 (AE) 中，编码层的维度比输入层小（窄）。在多层降噪自编码器 (SDAE) 中，编码层比输入层宽 (Deng and Yu, 2014)。

5.1.3 变换自编码器

深度自动编码器 (DAE) 可以是转换可变的，也就是从多层非线性处理中提取的特征可以根据学习者的需要而改变。变换自编码器 (TAE) 既可以使用输入向量，也可以使用目标输出向量来应用转换不变性属性，将代码引导到期望的方向 (Deng and Yu,2014)。

5.2 深度卷积神经网络

四种基本思想构成了卷积神经网络（CNN）即：局部链接、共享权重、池化和多层使用。CNN 的第一部分由卷积层和池化层组成，后一部分主要是全连接层。卷积层检测特征的局部连接，池层将相似的特征合并为一个。CNN 在卷积层中使用卷积而不是矩阵乘法。

5.2.1 深度最大池化卷积神经网络（MPCNN）

最大池化卷积神经网络 (MPCNN) 主要对卷积和最大池化进行操作，特别是在数字图像处理中。MPCNN 通常由输入层以外的三种层组成。卷积层获取输入图像并生成特征图，然后应用非线性激活函数。最大池层向下采样图像，并保持子区域的最大值。全连接层进行线性乘法。在深度 MPCNN 中，在输入层之后周期性地使用卷积和混合池化，然后是全连接层。

5.2.2 极深的卷积神经网络

使用非常小的卷积滤波器，深度达到16-19层，第一个在文本处理中使用的，他在字符级别上起作用。

6.训练和优化技术

6.1 Dropout

以防止神经网络过拟合。Dropout 是一种神经网络模型平均正则化方法，通过增加噪声到其隐藏单元。在训练过程中，它会从神经网络中随机抽取出单元和连接。Dropout 可以用于像 RBM (Srivastava et al.，2014) 这样的图形模型中，也可以用于任何类型的神经网络。最近提出的一个关于 Dropout 的改进是 Fraternal Dropout，用于循环神经网络 (RNN)。

6.2 Maxout

Maxout，一种新的激活函数，用于 Dropout。Maxout 的输出是一组输入的最大值，有利于 Dropout 的模型平均。

6.3 Zoneout

循环神经网络 (RNN) 的正则化方法 Zoneout。Zoneout 在训练中随机使用噪音，类似于 Dropout，但保留了隐藏的单元而不是丢弃。

6.4 深度残差学习

He 等人 (2015) 提出了深度残差学习框架，该框架被称为低训练误差的 ResNet。

6.5 批归一化

Ioffe 和 Szegedy(2015) 提出了批归一化，通过减少内部协变量移位来加速深度神经网络训练的方法。Ioffe(2017) 提出批重归一化，扩展了以前的方法。

6.6 Distillation

Hinton 等人 (2015) 提出了将知识从高度正则化模型的集合 (即神经网络) 转化为压缩小模型的方法。

6.7 层归一化

Ba 等人 (2016) 提出了层归一化，特别是针对 RNN 的深度神经网络加速训练，解决了批归一化的局限性。

7.深度学习的应用

• 图像分类与识别
• 视频分类
• 序列生成
• 缺陷分类
• 文本、语音、图像和视频处理
• 文本分类
• 语音处理
• 语音识别和口语理解
• 文本到语音生成
• 查询分类
• 句子分类
• 句子建模
• 词汇处理
• 预选择
• 文档和句子处理
• 生成图像文字说明
• 照片风格迁移
• 自然图像流形
• 图像着色
• 图像问答
• 生成纹理和风格化图像
• 视觉和文本问答
• 视觉识别和描述
• 目标识别
• 文档处理
• 人物动作合成和编辑
• 歌曲合成
• 身份识别
• 人脸识别和验证
• 视频动作识别
• 人类动作识别
• 动作识别
• 分类和可视化动作捕捉序列
• 手写生成和预测
• 自动化和机器翻译
• 命名实体识别
• 移动视觉
• 对话智能体
• 调用遗传变异
• 癌症检测
• X 射线 CT 重建
• 癫痫发作预测
• 硬件加速
• 机器人

8. 结论

尽管深度学习（DL）比以往任何时候都更快地推进了世界的发展，但仍有许多方面值得我们去研究。我们仍然无法完全地理解深度学习，我们如何让机器变得更聪明，更接近或比人类更聪明，或者像人类一样学习。DL 一直在解决许多问题，同时将技术应用到方方面面。但是人类仍然面临着许多难题，例如仍有人死于饥饿和粮食危机, 癌症和其他致命的疾病等。我们希望深度学习和人工智能将更加致力于改善人类的生活质量，通过开展最困难的科学研究。最后但也是最重要的，愿我们的世界变得更加美好。