深度学习(1): 深度学习简介

注：转载请标明原文出处链接：https://xiongyiming.blog.csdn.net/article/details/98944012

1 什么是深度学习？

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
(以上均来自百度百科)

下面了解一下人工智能、机器学习和深度学习之间的关系。下图是三者之间的关系，可以看出三者之间是包含和被包含的关系。

2 深度学习应用

2.1 机器学习的一般方法

机器学习按照方法主要可以分为两大类：监督学习和无监督学习。其中监督学习主要由分类和回归等问题组成，无监督学习主要由聚类和关联分析等问题组成。深度学习则属于监督学习当中的一种。下图为监督学习的一般方法。

2.2 深度学习的一般方法

随着深度学习的爆发，最新的深度学习算法已经远远超越了传统的机器学 习算法对于数据的预测和分类精度。深度学习不需要我们自己去提取特征，而是自 动地对数据进行筛选，自动地提取数据高维特征。下图为深度学习的一般方法，与传统机器学习中的监督学习一般方法（如上图）相比，少了特征工程，节约了工程师们大量工作时间。

神经网络应用的突破领域之一是控制论，神经网络有着一套完美的反馈机制，给控制论增添了不少色彩。而深度学习的出现就 如寒武纪生命大爆发一样，前几年我们或许听到更多的是大数据处理、数据挖掘， 而如今在科技创新的生态中，几乎每个人都在谈论深度学习、人工智能。下面简单 来介绍关于深度学习的应用。

(1) 图像处理

(2) 自动驾驶

(3) 机器人
波士顿动力机器人

(4) 医疗健康诊断

深度学习技术己经开始渗透到每一个领域当中，使得机器学习能够实现更多的应用场景，并且极大地拓展了人工智能的领域范畴。从无人驾驶汽车、无人驾驶飞机，到生物医学的预防性诊断、病理预测，甚至是更加贴近年轻一代的电影推荐、购物指南，几乎所有领域都可以使用深度学习。

3 GPU的迅速发展

GPU (Graphics Processing Unit, 图形处理器) 作为硬件加速器之一，通过大量图形处理单元与 CPU 协同工作，对深度学习、数据分析，以及大量计算的工程应用进行加速 。 从 2007 年 NVIDIA 公司发布了第一个支持 CUDA 的 GPU 后， GPU 的应用范围不断拓展，从政府实验室、大学、企业的大型数据中心，到现今非常火热的人工智能汽车、无人驾驶飞机和机器人等嵌入式平台， GPU 都发挥着巨大的作用。
CUDA (Compute Unified Device Architecture, 统一计算设备架构)。随着显卡的发展， GPU 越来越强大， GPU 开始主要为显示图像做优化，在计算上已经超越了通用的 CPU 。 如此强大的芯片如果只是作为显卡就太浪费了，因此 NVIDIA 推出 CUDA 这一通用并行计算架构，该架构使 GPU 能够解决复杂的计算问题 。

3.1 GPU与显卡的区别

GPU只是显卡上的一个核心处理芯片，是显卡的心脏，不能单独作为外接扩展卡使用，GPU因并行计算任务较重，所以功耗较大，只能焊接在显卡的电路板上使用。显卡上都有GPU，它是区分显性能的最主要元件，显卡也叫显示适配器，分为独立显卡和主板上集成显卡，独立显卡主要由GPU、显存和接口电路构成，集成显卡没有独立显存而是使用主板上的内存。
GPU是图形处理器，一般GPU就是焊接在显卡上的，大部分情况下，我们所说GPU就等于指显卡，但是实际情况是GPU是显示卡的“心脏”，是显卡的一个核心零部件，核心组成部分。它们是“寄生与被寄生”关系。GPU本身并不能单独工作，只有配合上附属电路和接口，才能工作。这时候，它就变成了显卡
参考链接: https://baijiahao.baidu.com/s?id=1607965696317204020&wfr=spider&for=pc

3.2 GPU 与 CPU 区别

比较 GPU 和 CPU ，就是比较它们两者如何处理任务。如下图图 1-9 所示， CPU 使用几个核心处理单元去优化串行顺序任务，而 GPU 的大规模并行架构拥有数以千计的更小、更高效的处理单元，用于处理多个并行小任务。
CPU 拥有复杂的系统指令，能够进行复杂的任务操作和调度，两者是互补关系，而不能相互代替。

GPU 是大规模并行架构，处理并行任务毫无疑问是非常快的，深度学习需要高
效的矩阵操作和大量的卷积操作， GPU 的并行架构再适合不过。简单来说，确实如此，但是为什么 GPU 进行矩阵操作和卷积操作会比 CPU 要快呢？真正原因是 GPU具有如下特性 ：
(1) 高带宽
(2) 高速的缓存性能
(3) 并行单元多

在执行多任务时， CPU 需要等待带宽，而 GPU 能够优化带宽。举个简单的例子，我们可以把 CPU 看作跑车， GPU 是大卡车，如下图图 1-10 所示任务就是要把一堆货物从北京搬运到广州。 CPU（跑车〉可以快速地把数据（货物〉从内存读入 RAM 中，然而 GPU (大卡车〉装货的速度就好慢了。不过后面才是重点， CPU (跑车）把这堆数据（货物）从北京搬运到广州｜需要来回操作很多次，也就是往返京广线很多次，而 GPU (大卡车）只需要一 次就可以完成搬运（一次可以装载大量数据进入内存）。换言之， CPU 擅长操作小的内存块，而 GPU 则擅长操作大的内存块 。 CPU 集群大概可以达到 50GB/s 的带宽总量，而等量的 GPU 集群可以达到 750GB/s 的带宽量。

如果让一辆大卡车去装载很多堆货物，就要等待很长的时间了，因为要等待大卡车从北京运到广州，然后再回来装货物。设想一下，我们现在拥有了跑车车队和卡车车队（线程并行〉，运载一堆货物（非常大块的内存数据需要读入缓存，如大型矩阵）。我们会等待第一辆卡车，但是后面就不需要等待的时间了，因为在广州会有一队伍的大卡车正在排队输送货物（数据），这时处理器就可以直接从缓存中读取数据了。在线性并行的情况下， GPU 可以提供高带宽，从而隐藏延迟时间。这也就是GPU 比 CPU 更适合处理深度学习的原因。

3.3 GPU种类

特别是最近几年，随着 GPU处理能力的飞速进步 ，在 2012 年需要 l 个月才能完成的深度学习训练，在 2015 年只需几天即可完成 。 在这样的背景下，深度学习的发展恰逢其时，将会引发进一步的革新和发展。

对于深度学习的加速器 GPU，现在市面上主要的品牌有 AMD 、 NVIDIA 、Intel 的 Xeon Phi，如下图所示。

NVIDIA公司的GUP使用最为广泛，NVIDIA 的计算加速标准库 cuDNN 使得工程师在 CUDA 平台中构建深度学习变得非常容易，而且在同 一张显卡的前提下比没有使用 cnDNN 的速度提升 5 倍之多。有良好的生态。下图是NVIDIA公司的三种类型的GPU。

其中，
(1) GeForce 系列面向大众，常见的有：GeForce GTX 1080, GeForce GTX 1080 Ti, GeForce GTX 2080 Ti
(2) Tesla 系列面向科学计算；
(3) Tegra 系列面向嵌入式的 GPU 主板。

---

参考资料

[1] 图解深度学习
[2] 深度学习原理与实践
[3] TensorFlow实战Google深度学习框架(第2版)