CUDA学习笔记一---GPU基本架构

以Fermi GPU为例:


左侧是一个粗略的GPU架构图,可以看到GPU由“显存”和“计算单元”组成,有以下几个部分:

  1. DRAM:Dynamic Random Access Memory,即GPU的显存,容量较大,速度慢,CPU和GPU都可以访问。DRAM相当于CPU的RAM,里面存放的数据断电就没有了。

  2. SM:streaming multiprocessor,即计算单元,一个GPU有多个SM。CPU可以使多核的,比如四核八核,而GPU的核心就特别多,一个SM里面包含多个核心(core)。

  3. L2 Cache:这是一个二级缓存,比如当我们在CPU上执行100个1相加的时候,首先计算1+1,将结果2保存,再继续计算2+1,如此循环。但是由于在内存上读写数据耗费时间,我们只需要将中间结果保存在缓存里面,将最后结果写入内存即可。所有缓存大致就是这个作用。


每一个SM的架构如同右边所示:

  1. Core:每一个SM里面包含的多个核心。
  2. SP:Streaming Process(图中没有),一个SM有多个SP,SP是最基本的处理单元,最后的指令和任务都是在SP上完成的,现在SP的概念被弱化,用线程(thread)代替,一个SP对应一个thread。(这里或许理解还有些问题,因为我查资料发现又有些说法是SM和Streaming Process是同一个东西,而前面说的一个SM有多个SP是指Scalar Processor
  3. Warp:在SM里面将SP(thread)进行分组,一般每32个thread称为一个warp,GPU里面有一个叫Wrap Scheduler的调度器,确保每一个Warp即这32个线程里面执行的内容是相同的。
  4. Dispatch Unit:指令分发单元,指令分发单元和执行硬件之间有一个完整的交叉开关(Crossbar),每个单元都可以向 SM 内的任何单元分配线程(不过存在一些限制)。
  5. LD/ST:load/store,用于内存操作的,读取单元。
  6. SFU:special function unit,来执行超指令(transcendental instruction)如正弦、余弦、倒数和平方根等函数。每个 SFU 一次执行一个线程块中一个线程的一条指令。
  7. register和L1:都表示缓存,不过GPU里面关于缓存的知识较为复杂,之后会列出。

其他补充

  1. GPC:Graphics Processing Cluster,图形处理集群,一个GPU有多个GPC,一个GPC包含多个SM。
  2. SPA:streaming Process Array,SP的阵列
  3. Register File:简称RF,是寄存器

每一个Core架构:

如图所示是GPU里面Core部分的架构,在了解Core之前首先要知道什么是异构计算:

异构架构计算:GPU和CPU协同工作,CPU端称为主机端用host表示,GPU端称为设备端用device表示。GPU和CPU连接一般协议是PCI-E,速度可达16G/s或者32G/s,最新的协议有NVme,延迟更小。
CUDA学习笔记一---GPU基本架构_第1张图片
每一个Core里面包含多个Grid,每一个Grid里面包含多个Block,每一个Block里面包含多个thread。在运行代码时会涉及到对于线程的分配,我会在之后的学习笔记中贴出。


文章中图片出自:哔哩哔哩阿婆主:洞主2233的教学视频第二节

你可能感兴趣的:(CUDA并行计算学习笔记,cuda,并行计算,gpu)