为什么深度学习要使用GPU？

1.CPU和GPU的概念

• CPU又称中央处理器，作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。可以形象地理解为有25%的ALU(运算单元)、有25%的Control(控制单元)、50%的Cache(缓存)单元。
• GPU又称图像处理器，是一种专门在个人电脑等一些移动设备上做图像和图形相关运算工作的微处理器。可以形象地理解为90%的ALU(运算单元)，5%的Control(控制单元)、5%的Cache(缓存)。

2.CPU和GPU的形象比喻

• GPU含有大量的“小计算器”，而CPU有少量的“高性能计算器”。
• GPU计算量大，但没什么技术含量，而且要重复很多次。例如，有个工作需要计算上亿次的百内加减法，那么最好的办法就是雇佣几个小学生一起算，每人负责一部分，反正这些计算并没有技术含量，只是重复性地体力劳动。CPU则像老教授，计算积分微积分都不在话下，但就是工资高，一个老教授工资顶20多个小学生。这种情况下，肯定会选择GPU(即用纯粹的人海战术来完成大量重复性工作)。

3.CPU和GPU的适用场景

• CPU适合前后计算步骤紧密关联的计算场景。这些任务涉及到“流”的问题，必须先计算前一步，才能计算下一步。例如相亲到结婚就是一个循序渐进的过程，不可能一边相亲，一遍领证。
• 而GPU适合前后步骤无依赖的计算场景，例如图形学的计算。这些计算都可以分解为多个简单的小任务，每个小任务都可以分给一个小学生去做。活很多又比较简单，不需要牛人，那么肯定GPU是一个不错的选择。

参考链接：https://zhuanlan.zhihu.com/p/156171120