GPU CPU(MPI) 区别

从CPU 迁移到GPU 两者的区别主要是

GPU  并发低 计算优势

CPU(即MPI) 并发性高 计算性能。但是使用经验是 使用的人多 相对应的集群等待时间长

GPU CPU(MPI) 区别_第1张图片

DRAM即动态随机存取存储器,是常见的系统内存。

Cache存储器:电脑中作高速缓冲存储器,是位于CPU和主存储器DRAM之间,规模较小,但速度很高的存储器

算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。

GPU 提供了多核运算的基础 支持并行运算等

GPU的这些性能 决定在其在大数据运算中的有利地位

GPU的存储有限,所以数据需要从外部导入;导入的过程带来IO的问题,使得IO的时间远大于GPU处理的时间

GPU具有运算速度快的特点 适合处理 计算密集型的程序和易于并行的程序

MPI 多机运行具有较好的 并发性 但是计算能力弱于GPU

并发性 (Concurrence) 是指两个或多个事件在同一时间间隔内发生。

并行性和并发性 (Concurrence) 是既相似又有区别的两个概念,并行性是指两个或多个事件在同一时刻发生;而并发性是指两个或多个事件在同一时间间隔内发生。在多道程序环境下,并发性是指在一段时间内宏观上有多个程序在同时运行,但在单处理机系统中每一时刻却仅能有一道程序执行,故微观上这些程序只能是分时地交替执行。倘若在计算机系统中有多个处理机,则这些可以并发执行的程序便可被分配到多个处理机上,实现并行执行,即利用每个处理机来处理一个可并发执行的程序,这样,多个程序便可同时执行。

GPU并行计算和CPU多线程计算有什么不同呢?

GPU的并行计算主要体现在数据的运算上。CPU多线程主要是多机运行任务 多线程

线程相关理解

泥瓦匠聊并发编程:线程与多线程必知必会(基础篇) - 泥瓦匠BYSocket的文章 - 知乎 https://zhuanlan.zhihu.com/p/33616143

 

 

 

 

你可能感兴趣的:(深度学习)