CPU与GPU并行计算联系与区别

最近在做利用GPU实现并行渲染的工作,前天同学问我CPU和GPU在多线程和并行计算方面的区别具体是什么,虽然做了几个月这方面的工作,但我一下子答却不知道从何答起,因此在这里做一下整理。

一、CPU和GPU的区别

(图片来源于网络,文字参考(侵删):https://www.renderbus.com/share/post-id-1478)

CPU((Central Processing Unit, 中央处理器):CPU的结构主要包括运算器(ALU, Arithmetic and Logic Unit)、控制单元(CU, Control Unit)、寄存器(Register)、高速缓存器(Cache)和它们之间通讯的数据、控制及状态的总线。需要具备处理不同数据类型的能力,具有很强的通用性,CPU内部结构非常复杂。CPU擅长像操作系统、系统软件和通用应用程序这类拥有复杂指令调度、循环、分支、逻辑判断以及执行等的程序任务。它的并行优势是程序执行层面的,程序逻辑的复杂度也限定了程序执行的指令并行性,上百个并行程序执行的线程基本看不到。

CPU与GPU并行计算联系与区别_第1张图片

CPU与GPU并行计算联系与区别_第2张图片

GPU(Graphics Processing Unit,图形处理器):GPU由数量众多的计算单元和超长的流水线组成,适合处理大量的类型统一的数据。但GPU无法单独工作,必须由CPU进行控制调用才能工作。GPU以图形类数值计算为核心。用于处理类型高度统一、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。GPU擅长的是图形类的或者是非图形类的高度并行数值计算,GPU可以容纳上千个没有逻辑关系的数值计算线程,它的优势是无逻辑关系数据的并行计算。

GPU中有很多的运算器ALU和很少的缓存cache,缓存的目的不是保存后面需要访问的数据的,而是为线程thread提高服务的。如果有很多线程需要访问同一个相同的数据,缓存会合并这些访问,然后再去访问dram。

CPU与GPU并行计算联系与区别_第3张图片

关于CPU与GPU计算的对比视频:https://v.youku.com/v_show/id_XNjY3MTY4NjAw.html

二、多进程、多线程、并发、并行

(参考(侵删):https://blog.csdn.net/qq_33290787/article/details/51790605)

1.进程(活动)

进程是一个具有独立功能的程序关于某个数据集合的一次运行活动。多进程,就好比同时打开了Word,Excel和Visio,他们都是不同的程序运行活动,即多个进程同时启动而已。

2.线程(执行路径)

线程,是一个执行中的程序活动(即进程)的多个执行路径,执行调度的单位。线程依托于进程存在,在进程之下,可以共享进程的内存,而且还拥有一个属于自己的内存空间,这段内存空间也叫做线程栈。多线程,指在一个进程下有多个线程。各个线程执行自己的任务,这些线程可以“同时进行”。多线程强调”同时,一起进行“,而不是单一的顺序操作。

3.并发

并发的实质是一个物理CPU(也可以多个物理CPU) 在若干道程序(或线程)之间多路复用,并发性是对有限物理资源强制行使多用户共享以提高效率。也就是说对于一个CPU资源,线程之间竞争得到执行机会。

4.并行

指两个或两个以上事件(或线程)在同一时刻发生,是真正意义上的不同事件或线程在同一时刻,在不同CPU资源上(多核),同时执行。

这里引用知乎网友@pansz的比喻:

单进程单线程:一个人在一个桌子上吃菜。
单进程多线程:多个人在同一个桌子上一起吃菜。
多进程单线程:多个人每个人在自己的桌子上吃菜

三、CPU与GPU的并行计算

(参考1(侵删):https://www.cnblogs.com/fengfu-chris/p/4357821.html

   参考2(侵删):https://www.cnblogs.com/muchen/p/6297166.html

并行计算一般有两个维度,一个是指令(Instruction)或程序(Program),另一个是数据(Data)。这样,就可以归纳出各种并行模式(S代表Single,M代表Multiple)。

CPU与GPU并行计算联系与区别_第4张图片

除了SISD,其他几个都算是并行计算方法。

数据的存储可以分为两大类:分布式存储和共享内存。分布式存储意味着不同的进程/指令处理不同的数据,大家互相不干扰。共享内存则要求不同的进程/指令可以同时修改同一块数据,进程之间的通信将变得简单,缺点是容易造成数据读写冲突而需要谨慎对待。

1.CPU并行计算

CPU 采用复杂的分支预测技术来达到并行计算目的。对于CPU并行计算,缓存对程序员透明。应用程序员无法通过编程手段操纵缓存。采用 MIMD - 多指令多数据类型。多条指令构成指令流水线,且每个线程都有独立的硬件来操纵整个指令流。

2.GPU并行计算

GPU最大的特点是它拥有超多计算核心,往往成千上万核。而每个核心都可以模拟一个CPU的计算功能,虽然单个GPU核心的计算能力一般低于CPU。对于GPU并行计算,缓存对程序员不透明,程序员可根据实际情况操纵大部分缓存。采用 SIMT - 单指令多线程模型,一条指令配备一组硬件,对应32个线程 (一个线程束)。GPU 内部有很多流多处理器。每个流多处理器都相当于一个“核",而且一个流多处理器每次处理 32 个线程。

CUDA,全称是Compute Unified Device Architecture,即统一计算架构,是由生产GPU最有名的英伟达公司提出的CPU+GPU混合编程框架。CUDA C/C++语言有如下特点:也是SPMD框架,兼有分布式存储和共享内存的优点,把握GPU的带宽是充分利用GPU计算资源的关键。

一般,经过一定优化的CUDA C/C++程序的计算速度相比于传统的CPU程序的计算速度要快几倍到几十倍。

你可能感兴趣的:(图形学)