在 cython 中使用 mpi4py

在上一篇中我们介绍了 mpi4py 中的 run 模块，下面我们将介绍在 cython 中使用 mpi4py。

cython 简介

Cython 是 Python 编程语言的超集，旨在通过主要使用 Python 编写的代码提供类似 C 的性能。Cython 是一种生成 CPython 扩展模块的编译语言，用 Cython 编写 Python 的扩展模块与直接写 Python 程序差不多一样容易。然后，可以使用 import 语句通过常规 Python 代码加载和使用这些扩展模块。几乎所有 Python 代码都是合法的 Cython 代码。

使用 Cython 一般只需在对应的 Python 代码中可选地添加一些静态类型声明，然后就可以使用 Cython 编译器将其转换成优化的 C/C++ 代码，然后被 C 编译器（如 gcc 等）编译成 Python 的扩展模块。这些扩展模块可以在 Python 中直接导入使用。

读者可以参考其文档以了解更多关于 Cython 的内容及其使用方法。

在 cython 中使用 mpi4py

在前面已经提到过，mpi4py 的主体部分是使用 Cython 编写的，因此在 Cython 中使用 mpi4py 也是非常自然和非常容易的。根据所编写的代码更接近 Python 还是更接近 C，在 Cython 中使用 mpi4py 可以在 3 个级别上进行。

Python 级别 import

因为 Python 代码（在绝大多数情况下）也是合法的 cython 代码，因此直接将一段使用 mpi4py 的 Python 代码放入一个 *.pyx 文件中，就成了相应的 Cython 代码。在这个级别上，编译成的扩展模块链接使用的是 mpi4py/MPI.so。下面是简单的例子：

# Python-level module import
# (file: mpi4py/MPI.so)

from mpi4py import MPI

# Python-level objects and code

size  = MPI.COMM_WORLD.Get_size()
rank  = MPI.COMM_WORLD.Get_rank()
pname = MPI.Get_processor_name()

hwmess = "Hello, World! I am process %d of %d on %s."
print (hwmess % (rank, size, pname))

Cython 级别 cimport

在这个级别上必须从 mpi4py 包中 cimport MPI 模块，然后可以使用和添加一些 mpi4py 中的 Python 扩展类型（在 mpi4py/include/mpi4py/MPI.pxd 中定义)，下面是简单的例子：

# Cython-level cimport
# this make available mpi4py's Python extension types
# (file:  mpi4py/include/mpi4py/MPI.pxd)

from mpi4py cimport MPI
from mpi4py.MPI cimport Intracomm as IntracommType

# C-level cdef, typed, Python objects

cdef MPI.Comm WORLD = MPI.COMM_WORLD
cdef IntracommType SELF = MPI.COMM_SELF

C 级别

通过从 mpi4py 包中 cimport libmpi，使我们可以在 Cython 代码中直接调用 MPI 库的 C 语言函数接口（这些函数接口在 mpi4py/include/mpi4py/libmpi.pxd 中定义）。下面是简单的例子：

# Cython-level cimport with PXD file
# this make available the native MPI C API
# with namespace-protection (stuff accessed as mpi.XXX)
# (file: mpi4py/include/mpi4py/libmpi.pxd)

from mpi4py cimport libmpi as mpi

cdef int ierr1=0

cdef int size1 = 0
ierr1 = mpi.MPI_Comm_size(mpi.MPI_COMM_WORLD, &size1)

cdef int rank1 = 0
ierr1 = mpi.MPI_Comm_rank(mpi.MPI_COMM_WORLD, &rank1)

cdef int rlen1=0
cdef char pname1[mpi.MPI_MAX_PROCESSOR_NAME]
ierr1 = mpi.MPI_Get_processor_name(pname1, &rlen1)
pname1[rlen1] = 0 # just in case ;-)

hwmess = "Hello, World! I am process %d of %d on %s."
print (hwmess % (rank1, size1, pname1))

传递 Python 通信子到 C

为了在 cython 中使用 mpi4py，我们经常需要将 mpi4py 的 MPI 通信子传递到 cython 中的 C 级别代码，直接传递一个 mpi4py.MPI.Comm 对象是不行的，不过 mpi4py.MPI.Comm 在内部存储了一个 MPI_Comm 类型的句柄 ob_mpi （实际上，mpi4py.MPI 中的大部分对象，如 Groupe，Status，File 等，都有一个对应的 C 级别 MPI 句柄，且名字都为 ob_mpi，可以像通信子一样由 Python 传递到 C），因此只需将 mpi4py 通信子的 ob_mpi 属性传递到 C 级别代码就行了。参见下面的例程。

传递 C 通信子到 Python

有时我们也需要将一个 C 类型的 MPI 通信子从 cython 代码中传回 Python 变成一个 mpi4py.MPI.Comm 对象，为此可以先初始化一个 mpi4py.MPI.Comm 对象，将此 C 类型的 MPI 通信子赋值给该 mpi4py.MPI.Comm 对象的 ob_mpi 属性，然后将此对象传回 Python 就可以了。

例程

下面给出相应的例程。

首先是 cython 代码。

# hello.pyx

# python level
from mpi4py import MPI

def say_hello(comm):
    rank = comm.rank
    print 'say_hello: Hello from rank = %d' % rank


# ----------------------------------------------------------------------------
# cython and C level
from mpi4py cimport MPI
from mpi4py cimport libmpi as mpi

def c_say_hello(MPI.Comm comm):
    # get the C handle of MPI.Comm
    cdef mpi.MPI_Comm c_comm = comm.ob_mpi
    cdef int ierr=0
    cdef int rank = 0
    # call MPI C API to get rank
    ierr = mpi.MPI_Comm_rank(c_comm, &rank)
    print 'c_say_hello: Hello from rank = %d' % rank

def return_comm(MPI.Comm comm):
    # get the C handle of MPI.Comm
    cdef mpi.MPI_Comm c_comm = comm.ob_mpi
    cdef mpi.MPI_Group c_group
    # call MPI C API to get the associated group of c_comm
    mpi.MPI_Comm_group(c_comm, &c_group)
    cdef int n = 1
    cdef int *ranks = [0]
    cdef mpi.MPI_Group c_new_group
    # call MPI C API to create a new group by excluding rank 0
    mpi.MPI_Group_excl(c_group, n, ranks, &c_new_group)
    cdef mpi.MPI_Comm c_new_comm
    # call MPI C API to create a new communicator by excluding rank 0
    mpi.MPI_Comm_create(c_comm, c_new_group, &c_new_comm)

    cdef MPI.Comm py_comm
    if comm.rank == 0:
        return None
    else:
        # initialize a MPI.Comm object
        py_comm = MPI.Comm()
        # assign the new communicator to py_comm.ob_mpi
        py_comm.ob_mpi = c_new_comm

        return py_comm

使用下面的脚本将其编译成可在 Python 中导入的扩展模块。

# setup.py

import os
# import mpi4py
from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

mpi_compile_args = os.popen("mpicc --showme:compile").read().strip().split(' ')
mpi_link_args    = os.popen("mpicc --showme:link").read().strip().split(' ')

ext_modules = [
    Extension(
        "hello",
        ["hello.pyx"],
        # include_dirs = [mpi4py.get_include()],
        extra_compile_args = mpi_compile_args,
        extra_link_args    = mpi_link_args,
    )
]

setup(
    name='hello-parallel-world',
    cmdclass = {"build_ext": build_ext},
    ext_modules = ext_modules
)

编译扩展模块的命令如下：

$ python setup.py build_ext --inplace

然后是 Python 测试程序。

# cython_mpi.py

"""
Demonstrates how to use mpi4py in cython.

Run this with 4 processes like:
$ mpiexec -n 4 python cython_mpi.py
"""

from mpi4py import MPI
import hello


comm = MPI.COMM_WORLD


hello.say_hello(comm)
hello.c_say_hello(comm)

new_comm = hello.return_comm(comm)

if not new_comm is None:
    print 'new_comm.size = %d' % new_comm.size

执行的结果如下：

$ mpiexec -n 4 python cython_mpi.py
say_hello: Hello from rank = 0
c_say_hello: Hello from rank = 0
say_hello: Hello from rank = 1
c_say_hello: Hello from rank = 1
new_comm.size = 3
say_hello: Hello from rank = 2
c_say_hello: Hello from rank = 2
new_comm.size = 3
say_hello: Hello from rank = 3
c_say_hello: Hello from rank = 3
new_comm.size = 3

以上介绍了在 cython 中使用 mpi4py 的方法，在下一篇中我们将介绍 mpi4py 与 OpenMP 混合编程。