mpi4py 中的单边通信同步操作

在上一篇中我们介绍了 mpi4py 中的单边通信相关操作,下面我们将介绍单边通信的同步操作。

单边通信(远端内存访问)操作包括以下两个范畴:

  • 主动目标通信。与点到点通信类似,数据从一个进程的内存传送到另一个进程的内存中,两个进程都直接参与通信。
  • 被动目标通信。数据仍从一个进程转移到另外一个进程,但这个进程是一个第三方进程。真正参与通信的两个进程都是源——一个负责将数据 put 到第三方进程,另一个则从第三方进程 get 到本地内存中。

与此对应,MPI 提供以下三种远端内存访问的同步机制:

  1. Fence:主动同步

    • 提供并行计算中常用到的宽松同步模型,主要用于活动目标通信;
    • 在同一个 window 对象组中的所有进程都需要调用 Fence 来启动一个数据交换阶段;
    • 数据交换阶段中所有进程都可以发出读写操作请求;
    • 在同一个 window 对象组中的所有进程都需要调用 Fence 来结束一个数据交换阶段;
    • 第二次 Fence 同步完成时所有的操作请求都已完成。
  2. Start/Post,Wait/Complete 同步:主动同步

    • 也用于活动目标通信,适用于需最大限度减少同步操作的场合——仅对一组进程进行同步;
    • 和 Fence 类似,但源进程和目标进程指出他们可以和哪一个组的进程进行通信;
    • 目标进程:启动一个暴露阶段(Exposure Epoch): Post 打开,Wait 关闭;
    • 源进程:启动一个访问阶段(Access epoch):Start 打开,Complete 关闭。
  3. Lock/Unlock:被动同步

    • 单边非同步通信;
    • 目标进程不主动参与通信过程;
    • Lock/Unlock开始/结束被动通信阶段;
    • 可通过此类同步操作模拟共享内存访问模式——即公告牌模式,进程可以随机方式访问/更新公告牌的不同部分;
    • Flush:完成所有还没完成的操作。

同步方法

下面给出同步操作相关的方法(MPI.Win 类方法)接口:

Fence

Fence(self, int assertion=0)

对远端内存访问操作进行同步,该操作对 windows 对象所属进程组内的所有进程执行集合操作。assertion 参数主要用于在具体的调用上下文中设置优化措施,默认值为 0,其它有效的值有:

  • MPI.MODE_NOSTORE,表示自上一个同步操作以来,本地窗口并没有被本地的 store 操作、本地发起的 get 操作、本地进程执行的 receive 操作所修改过。
  • MPI.MODE_NOPUT,在此次 Fence 执行之后,直到配对的同步 Fence 执行之前,本地窗口都不会被 put 或 accumulate 操作更新。
  • MPI.MODE_NOPRECEDE,本次 Fence 不会在本地启动任何远端内存操作。当前组内所有进程都必须同时指定该选项。
  • MPI.MODE_NOSUCCEED,本次 Fence 不会在本地启动任何远端内存操作。当前组内所有进程都必须同时指定该选项。

Start/Complete,Post/Wait,Test

Start(self, Group group, int assertion=0)

在源进程启动访问时间段和开放时间段。group 参数是源进程同步操作涉及的进程组,assertion 参数设置源进程同步操作的优化条件。在时间段内所有内存访问操作仅允许访问 group 参数中指定的进程的窗口,组内被访问的进程都要通过 Post 启动配对的同步操作。源进程启动内存访问之后,直到目标进程启动配对的 Post 之后才可实际影响目标进程的窗口。

Complete(self)

与 Start 配对,结束源进程的访问时间段。会在源进程一侧强制完成访问时间段内所有的远端内存操作,但不会影响目标进程。

Post(self, Group group, int assertion=0)

在目标进程启动访问时间段和开放时间段。group 参数是源进程同步操作涉及的进程组,assertion 参数设置源进程同步操作的优化条件。

Wait(self)

与 Post 配对,二者分别定义一个开放时间段的起始和结束。Wait 会阻塞,并与允许在此时间段内访问窗口对象的所有源进程的 Complete 相匹配,以此来确保所有源进程在窗口对象的本地副本上完成远端内存访问,而当 Wait 返回时,意味着目标进程窗口对象上的远端内存访问操作已完成。

Test(self)

Wait 的非阻塞版本,如果返回 True,则相当于调用 Wait 返回,如果返回 False,则没有什么可见的效应。

Lock/Unlock

Lock(self, int rank, int lock_type=LOCK_EXCLUSIVE, int assertion=0)

被动目标同步操作,标记一个访问时间段的开始,此期间仅允许由参数 rank 指定进程的窗口对象可被远端内存访问。locak_type 可以是默认的 MPI.LOCK_EXCLUSIVE(互斥锁)或 MPI.LOCK_SHARED(共享锁)。assertion 除了默认的 0 之外可以设置为 MPI.MODE_NOCHECK,表示在尝试创建锁时,可以确信没有其它进程已经取得了相同窗口对象的锁,或者正在尝试获取窗口对象的锁。

Unlock(self, int rank)

与 Lock 配对,标记一个访问时间段的结束。

例程

下面给出单边通信操作的同步相关方法的使用例程。

# win_sync.py

"""
Demonstrates the usage of Start, Complete, Post, Wait, Lock, Unlock.

Run this with 2 processes like:
$ mpiexec -n 2 python win.py
"""

import numpy as np
from mpi4py import MPI


comm = MPI.COMM_WORLD
rank = comm.Get_rank()

SIZE1 = 5
SIZE2 = 10

if rank == 0:
    A = np.zeros(SIZE2, dtype='i') # [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    win =  MPI.Win.Create(None, comm=comm)
    # create a group with rank 1 only
    grp = comm.group.Incl(ranks=[1])

    # start remote memory access
    win.Start(grp)
    # put the first 5 elements of A of rank 0 to A[:5] of rank 1
    win.Put(A[:SIZE1], target_rank=1)
    # end remote memory access
    win.Complete()

    # lock to protect the get operation
    win.Lock(rank=1, lock_type=MPI.LOCK_SHARED)
    # get last 5 elements of A of rank 1 to A[:5] of rank 0
    win.Get(A[:SIZE1], target_rank=1, target=[5*4, 5, MPI.INT])
    # unlock after the get operation
    win.Unlock(rank=1)
    print 'rank 0 has A = %s' % A
else:
    A = np.zeros(SIZE2, dtype='i') + 1 # [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
    win =  MPI.Win.Create(A, comm=comm)
    # create a group with rank 0 only
    grp = comm.group.Incl(ranks=[0])

    # start remote memory access
    win.Post(grp)
    # end remote memory access
    win.Wait()

    # no need for Lock and Unlock here

    print 'rank 1 has A = %s' % A

运行结果如下:

$ mpiexec -n 2 python win_sync.py
rank 1 has A = [0 0 0 0 0 1 1 1 1 1]
rank 0 has A = [1 1 1 1 1 0 0 0 0 0]

以上我们介绍了 mpi4py 中的单边通信的同步操作,在下一篇中我们将介绍并行 I/O。

你可能感兴趣的:(mpi4py 中的单边通信同步操作)