猿代码浅谈MPI与OpenMP并行程序设计

一、什么是OpenMP？

OpenMP是一种用于共享内存并行系统的多线程程序设计的库(Compiler Directive),特别适合于多核CPU上的并行程序开发设计。它支持的语言包括：C语言、C++、Fortran;不过，用以上这些语言进行程序开发时，并非需要特别关注的地方，因为现如今的大多数编译器已经支持了OpenMP,例如：Sun Compiler,GNU Compiler、Intel Compiler、Visual Studio等等。程序员在编程时，只需要在特定的源代码片段的前面加入OpenMP专用的#pargma omp欲编译指令就可以“通知”编译器将该段程自动进行并行化处理，并且在必要的时加入线程同步及通信机制。当编译器选择忽略#pargma om预处理指令时，或者编译器不支持OpenMP时，程序又退化为一般的通用串行程序，此时，代码依然可以正常运作，只是不能利用多线程和多核CPU来加速程序的执行而已。

OpenMP使得程序员可以把更多的精力投入到并行算法本身，而非其具体实现细节。对基于数据分集的多线程程序设计，它是一个很好的选择。同时，使用OpenMP也提供了更强的灵活性，可以较容易的适应不同的并行系统配置。线程粒度和负载平衡等是传统多线程程序设计中的难题，然而，在OpenMP中，OpenMP库从程序员手中接管了部分这两方面的工作，从而使得程序员可以更加专注于具体的算法本身，而非如何编程使得代码在CPU负载平衡和线程粒度方面做出平衡。但是，作为高层抽象，OpenMP并不适合需要复杂的线程间同步和互斥的场合。OpenMP的另一个缺点是不能在非共享内存系统（如计算机集群）上使用。

在这样的系统上，MPI使用较多。

标准并行模式执行代码的基本思想是，程序开始时只有一个主线程，程序中的串行部分都由主线程执行，并行的部分是通过派生其他线程来执行，但是如果并行部分没有结束时是不会执行串行部分的。这就是标准的并行模式fork/join式并行模式，共享存储式并行程序就是使用fork/join式并行的，OpenMP亦是如此。

二、什么是MPI?

MPI(MPI是一个标准，有不同的具体实现，比如MPICH等)是多主机联网协作进行并行计算的工具，当然也可以用于单主机上多核/多CPU的并行计算，不过效率低。它能协调多台主机间的并行计算，因此并行规模上的可仲缩性很强，能在从个人电脑到世界TOP10的超级计算机上使用。缺点是使用进程间通信的方式协调并行计算，这导致并行效率较低、内存开销大、不直观、编程麻烦。

OpenMP是针对单主机上多核/多CPU并行计算而设计的工具，换句话说，OpenMP更适合单台计算机共享内存结构上的并行计算。由于使用线程间共享内存的方式协调并行计算，它在多核/多CPU结构上的效率很高、内存开销小、编程语句简洁直观，因此编程容易、编译器实现也容易（现在最新版的C、C++、Fotran编译器基本上都内置OpenMP支持)。不过OpenMP最大的缺点是只能在单台主机上工作，不能用于多台主机间的并行计算！

以下链接为先进计算学员学习之后的心得

OpenMP学习笔记_myh1234567890的博客-CSDN博客OpenMP是一种用于共享内存并行系统的多线程程序设计方案，支持的编程语言包括C、C++和Fortran。OpenMP提供了对并行算法的高层抽象描述，特别适合在多核CPU机器上的并行程序设计。编译器根据程序中添加的pragma指令，自动将程序并行处理，使用OpenMP降低了并行编程的难度和复杂度。当编译器不支持OpenMP时，程序会退化成普通（串行）程序。程序中已有的OpenMP指令不会影响程序的正常编译运行。https://blog.csdn.net/u013159288/article/details/127517149OpenMP并行化技术_w0122001的博客-CSDN博客Moore极限的到来:1965年,英特尔联合创始人戈登·摩尔提出以自己名字命名的"摩尔定律",意指集成电路上可容纳的元器件的数量每隔18到24个月就会增加一倍,性能也会提高一倍.根据摩尔定律CPU的性能每隔18到24个月就能增长一倍.但是现在的现状来看单核的CPU的主频已经逼进了极限,我们需要更先进的制造工艺来提升它,但这是很困难的事.即摩尔定律快要失效.所有我们把目光转向了多核CPU,并且多线程并行编程研究也由此而来.一、OpenMP的概述。https://blog.csdn.net/w0122001/article/details/127413471点击下方链接进入先进计算基础训练营

先进计算基础训练营测评名单收集http://hbcjintern.mikecrm.com/2lu8xm8猿代码科技，现向国家大力输送先进计算行业的人才，助力国家智能科技产业的升级发展。如您是一本以上学历，并且是计算机相关专业，请点击下方链接，或者扫描下方二维码，申请就业资格，我们会协调先进计算工程师与您面试。

猿代码-先进计算猿代码（北京）科技有限公司是一家IT类科技公司，致力于软件开发、系统集成及高素质IT开发人才的训练与培养。http://www.ydma.com/ydm_mobile.html