Nvidia A100 硬件软件结构分析

Nvidia A100 架构分析

Nvidia A100 硬件架构

1 GA100 的架构图

A100 GPU的架构名称为GA100,一个完整的GA100架构实现包括以下单元:

基于GA100架构的A100 GPU 包括以下单元:
a. 7 GPCs, 7 or 8 TPCs/GPC, 2 SMs/TPC, up to 16 SMs/GPC, 108 SMs
b. 64 FP32 CUDA Cores/SM, 6912 FP32 CUDA Cores per GPU
c. 4 third-generation Tensor Cores/SM, 432 third-generation Tensor Cores per GPU
d. 5 HBM2 stacks, 10 512-bit memory controllers

2. GA100 SM架构

新的A100 SM 大大提高了性能,建立在 Volta和Turing SM体系结构中引入的功能的基础上,并增加了许多新功能和增强功能。每个SM中有8个Tensor Core,每个Tensor Core 每个时钟执行 64个 FP16/ FP32 FMA操作。 A100每个SM有4个Tensor Core, 每个时钟总共可提供1024个密集的FP16 / FP32 FMA操作。cuda core 就是做通用计算, Tensor core 专门做矩阵运算
Nvidia A100 硬件软件结构分析_第1张图片

2.1 FP32 TF32 FP16 等精度比较

Nvidia A100 硬件软件结构分析_第2张图片

CUDA编程的软件概念

从软件看

Thread, block, grid,warp 是CUDA编程的概念,以方便程序员软件设计,组织线程,同样的我们给出一个示意图来表示
Nvidia A100 硬件软件结构分析_第3张图片
1. thread: 一个cuda的并行程序会被许多个threads来执行
2. block:数个threads会被群组成一个block,同一个block中的threads可以同步,也可以通过shared memory进行通信
3. grid:多个block则会构成一个grid
4. warp:GPU执行程序时的调度单位,目前cuda的warp的大小为32,同一个warp的线程,以不同数据资源执行相同的指令,这就是所谓的SIMT

对应关系

从软件层面看,每一个SM更像一个独立的CPU core。SM(Streaming Multiprocessors)是GPU架构中非常重要的部分,GPU硬件的并行性就是由SM决定的。以Fermi架构为例,其包含以下主要组成部分:

  1. CUDA cores
  2. Share Memory/ L1 Cache
  3. Register File
  4. Load/Store Units
  5. Special Funcion Units
  6. Warp Scheduler

GPU中每个SM都设计成支持数以百计的Thread并行执行,并且每个GPU都包含了很多的SM,所以GPU支持成百上千的Thread并行执行。当一个Kernel启动后,Thread会被分配到这些SM中执行。大量的Thread可能会分配到不同的SM,同一个block中的Threads必然在同一个SM中并行(SIMT)执行。每个Thread拥有它自己的程序计数器和状态寄存器,并且用Thread自己的数据执行指令, 这就是所谓的 SIMT( single instruction multiple thread)。

一个SP可以执行一个thread,但是实际上并不是所有的thread能够在同一时刻执行,Nvidia把32个threads组成一个warp,warp是调度和运行的基本单元。warp中所有thread并行的执行相同的指令。一个warp需要占用一个SM运行,多个warp需要轮流进入SM。由SM的硬件调度器warp schedule负责调度。目前每个warp包含32个threads。所以一个GPU上的resident thread最多只有 SM*warp 个。

参考:https://blog.csdn.net/junparadox/article/details/50540602?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link

你可能感兴趣的:(深度学习相关,硬件架构)