深度学习花书学习笔记 第十二章 应用

大规模深度学习

首先深度学习之所以能够在现在获得大的突破，主要依靠于硬件技术的进步和大数据的发展。卷积神经网络需要的高并发，依赖于GPU的发展不断进步，甚至已经有了很多专用设备，如谷歌TPU，阿里和华为也都有最新针对AI算法的芯片。

高并发时可能导致梯度下降出问题，目前多采用异步梯度下降。

当模型过大时，通常可以通过模型压缩来减少内存和运算时间。（具体方法这里没提）

模型可以动态选择运算单元，如注意力模型。

计算机视觉

应用很广的一个领域，如无人驾驶中识别红绿灯等。这里主要介绍了预处理和数据集增强的一些方式：

预处理：

主要介绍三种方式：全局对比度归一化、局部对比度归一化和白化

语音识别

语音转文字的一种应用。传统方式主要通过HMM和GMM实现；深度学习发展后，可通过受限玻尔兹曼机可实现，后面章节才有详细介绍。

自然语言处理

机器学习很大的一个分支，为了解决词的高维和稀疏性，提出了以下方案：

• n-gram:将连续的n个单元作为一个整体。因为稀疏性，计算时需要添加平滑，或者大小n-gram相嵌（回退方法）
• word-embedding:词向量。word2vec 
• 高维输出：每个词作为一个维度输出了。计算量较大，为克服计算量大的问题，提出了以下几个方法：

1. 短列表：常见词组合组成列表
2. 分层softmax：这里说结果并不好
3. 重要采样：给权重
4. 噪声对比估计和排名损失：

• 结合n-gram和神经网络
• 神经机器翻译：使用注意力机制对其数据片段，一次性读取整个句子，然后每次根据注意力聚焦不同的部分。

其他应用

推荐系统

之前多使用协同过滤，有冷启动问题，所以有基于内容的推荐系统。后面介绍了基于强化学习的推荐系统，貌似不常用啊。

知识表示、推理和回答