显卡的一些总结

0.显卡架构

显卡的一些总结_第1张图片

1.浮点数在计算机内存中的存储方式(FP32, FP64)

显卡的一些总结_第2张图片
显卡的一些总结_第3张图片
显卡的一些总结_第4张图片

2.FP32 & TF32

显卡的一些总结_第5张图片

  • TF32 采用了与半精度( FP16 )数学相同的10 位尾数位精度,这样的精度水平远高于AI 工作负载的精度要求,有足够的余量。同时, TF32 采用了与FP32 相同的8 位指数位,能够支持与其相同的数字范围。这样的组合使TF32 成为了代替FP32 ,进行单精度数学计算的绝佳替代品,尤其是用于大量的乘积累加计算,其是深度学习和许多HPC 应用的核心。借助于NVIDIA 函示库,用户无需修改代码,即可使其应用程式充分发挥TF32 的各种优势。TF32 Tensor Core 根据FP32 的输入进行计算,并生成FP32 格式的结果。目前,其他非矩阵计算仍然使用FP32 。
  • NVIDIA A100/Ampere安培架构 GPU 中的新数据类型,TF32 使用与半精度 (FP16) 数学相同的 10 位尾数,表明对于 AI 工作负载的精度要求有足够的余量。并且TF32采用与FP32相同的8位指数,因此可以支持相同的数值范围。

3.FLOPS计算

显卡的一些总结_第6张图片


显卡的一些总结_第7张图片
显卡的一些总结_第8张图片

  • 英伟达Tesla A100核心采用台积电7N工艺,826mm2核心面积塞入542亿个晶体管。108组SXM4架构的SM单元拥有6912个CUDA核心,核心Tensor Core虽然减少到432个,但性能大幅增强,支持全新的TF32运算。一个Tensor Core每个时钟可以完成 256 FP16/FP32 FMA 操作。每个SM中有1024个FMA独立计算单元,对应2048个独立的浮点运算,等效为2048个线程,A100总共108 SM,所以A100总共存在108*2048=221184个线程。
  • FP64,是指一个SM中的8*4=32个FP64 CUDA core对应的算力,108*32*2FLOP*1.41Ghz=9.7 TFLOPS。
  • FP16 Tensor core ,(108*4)*256*2FLOP*1.41Ghz=311 TFLOPS。
  • FP64 Tensor core ,(108*4)*256*2FLOP*1.41Ghz/16=19.5 TFLOPS。
    显卡的一些总结_第9张图片
    显卡的一些总结_第10张图片

4.tensor core和cuda core的区别

显卡的一些总结_第11张图片

5.GPU和CPU内部





显卡的一些总结_第12张图片



显卡的一些总结_第13张图片



显卡的一些总结_第14张图片



显卡的一些总结_第15张图片







显卡的一些总结_第16张图片



显卡的一些总结_第17张图片



显卡的一些总结_第18张图片







显卡的一些总结_第19张图片



显卡的一些总结_第20张图片



显卡的一些总结_第21张图片

6.cuda、kernel、grid、block

  • GPU包括更多的运算核心,其特别适合数据并行的计算密集型任务,如大型矩阵运算,而CPU的运算核心较少,但是其可以实现复杂的逻辑运算,因此其适合控制密集型任务。另外,CPU上的线程是重量级的,上下文切换开销大,但是GPU由于存在很多核心,其线程是轻量级的。因此,基于CPU+GPU的异构计算平台可以优势互补,CPU负责处理逻辑复杂的串行程序,而GPU重点处理数据密集型的并行计算程序,从而发挥最大功效。
    显卡的一些总结_第22张图片

  • CUDA是NVIDIA公司所开发的GPU编程模型,它提供了GPU编程的简易接口,基于CUDA编程可以构建基于GPU计算的应用程序。
    显卡的一些总结_第23张图片

  • CUDA编程模型是一个异构模型,需要CPU和GPU协同工作。在CUDA中,host和device是两个重要的概念,我们用host指代CPU及其内存,而用device指代GPU及其内存。CUDA程序中既包含host程序,又包含device程序,它们分别在CPU和GPU上运行。同时,host与device之间可以进行通信,这样它们之间可以进行数据拷贝。典型的CUDA程序的执行流程如下:

    • 分配host内存,并进行数据初始化;
    • 分配device内存,并从host将数据拷贝到device上;
    • 调用CUDA的核函数在device上完成指定的运算;
    • 将device上的运算结果拷贝到host上;
    • 释放device和host上分配的内存。
  • CUDA逻辑层

    • kernel是CUDA中一个重要的概念,kernel是在device上线程中并行执行的函数,核函数用__global__符号声明,在调用时需要用<<>>来指定kernel要执行的线程数量,在CUDA中,每一个线程都要执行核函数,并且每个线程会分配一个唯一的线程号thread ID。
    • kernel在device上执行时实际上是启动很多线程,一个kernel所启动的所有线程称为一个网格(grid),同一个网格上的线程共享相同的全局内存空间,grid是线程结构的第一层次,而网格又可以分为很多线程块(block),一个线程块里面包含很多线程,这是第二个层次。
      显卡的一些总结_第24张图片
  • CUDA物理层

    • 一个kernel实际上会启动很多线程,这些线程是逻辑上并行的,但是在物理层却并不一定。这其实和CPU的多线程有类似之处,多线程如果没有多核支持,在物理层也是无法实现并行的。但是好在GPU存在很多CUDA核心,充分利用CUDA核心可以充分发挥GPU的并行计算能力。
    • GPU硬件的一个核心组件是SM,前面已经说过,SM是英文名是 Streaming Multiprocessor,翻译过来就是流式多处理器。SM的核心组件包括CUDA核心,共享内存,寄存器等,SM可以并发地执行数百个线程,并发能力就取决于SM所拥有的资源数。当一个kernel被执行时,它的gird中的线程块被分配到SM上,一个线程块只能在一个SM上被调度。SM一般可以调度多个线程块,这要看SM本身的能力。那么有可能一个kernel的各个线程块被分配多个SM,所以grid只是逻辑层,而SM才是执行的物理层。
    • SM采用的是SIMT (Single-Instruction, Multiple-Thread,单指令多线程)架构,基本的执行单元是线程束(wraps),线程束包含32个线程,这些线程同时执行相同的指令,但是每个线程都包含自己的指令地址计数器和寄存器状态,也有自己独立的执行路径。所以尽管线程束中的线程同时从同一程序地址执行,但是可能具有不同的行为,比如遇到了分支结构,一些线程可能进入这个分支,但是另外一些有可能不执行,它们只能死等,因为GPU规定线程束中所有线程在同一周期执行相同的指令,线程束分化会导致性能下降。
    • 当线程块被划分到某个SM上时,它将进一步划分为多个线程束,因为这才是SM的基本执行单元,但是一个SM同时并发的线程束数是有限的。这是因为资源限制,SM要为每个线程块分配共享内存,而也要为每个线程束中的线程分配独立的寄存器。所以SM的配置会影响其所支持的线程块和线程束并发数量。总之,就是网格和线程块只是逻辑划分,一个kernel的所有线程其实在物理层是不一定同时并发的。所以kernel的grid和block的配置不同,性能会出现差异,这点是要特别注意的。
      还有,由于SM的基本执行单元是包含32个线程的线程束,所以block大小一般要设置为32的倍数。
      显卡的一些总结_第25张图片显卡的一些总结_第26张图片

你可能感兴趣的:(深度学习,深度学习,python,人工智能)