MPI - 消息传递接口
MPI是一种消息传递库规范。接口规范已经在C/c++和Fortran程序中定义好了。提供的示例使用了C语言和LAM/MPI.LAM/MPI是一种高质量消息传递接口（MPI）的实现。
例1:demo.c
#include “mpi.h”
#include <stdio.h>
int main（int argc,char *argv[]）
{
int numtasks, rank, rc;
MPI_Init（&argc,&argv）；
MPI_Comm_size（MPI_COMM_WORLD,&numtasks）；
MPI_Comm_rank（MPI_COMM_WORLD,&rank）；
printf （“Number of tasks= %d My rank= %dn”, numtasks,rank）；
MPI_Finalize（）；
}
命令
lamboot
mpicc -o demo demo.c
mpirun -np <number of processes> demo
结果
下一个示例使用MPI来设计矩阵乘法。
一个大小为N的矩阵，该矩阵可以被搬运数整除（比如：一个矩阵的大小为4,那么搬运数也为4,每个搬运工将从矩阵A中领取1行）。控制器给每个搬运工发送同等数量的行的矩阵A,全矩阵B和追查行的位置偏移。每个搬运工接收控制器发送的信息，并完成有关行的矩阵乘法，并创建结果矩阵C的相关行，将它发送给偏移行的位置。控制器从每个搬运工那接收所有矩阵C的结果行，并完成结果矩阵。
例2:
/**********************************************************************
* MPI-based matrix multiplication AxB=C
*********************************************************************/
#include <stdio.h>
#include “mpi.h”
#define N 4 /* number of rows and columns in matrix */
MPI_Status status;
double a[N][N],b[N][N],c[N][N];
main（int argc, char **argv）
{
int numtasks,taskid,numworkers,source,dest,rows,offset,i,j,k;
struct timeval start, stop;
MPI_Init（&argc, &argv）；
MPI_Comm_rank（MPI_COMM_WORLD, &taskid）；
MPI_Comm_size（MPI_COMM_WORLD, &numtasks）；
numworkers = numtasks-1;
/*---------------------------- master ----------------------------*/
if （taskid == 0） {
for （i=0; i<N; i++） {
for （j=0; j<N; j++） {
a[i][j]= 1.0;
b[i][j]= 2.0;
}
}
gettimeofday（&start, 0）；
/* send matrix data to the worker tasks */
rows = N/numworkers;
offset = 0;
for （dest=1; dest<=numworkers; dest++）
{
MPI_Send（&offset, 1, MPI_INT, dest, 1, MPI_COMM_WORLD）；
MPI_Send（&rows, 1, MPI_INT, dest, 1, MPI_COMM_WORLD）；
MPI_Send（&a[offset][0], rows*N, MPI_DOUBLE,dest,1, MPI_COMM_WORLD）；
MPI_Send（&b, N*N, MPI_DOUBLE, dest, 1, MPI_COMM_WORLD）；
offset = offset + rows;
}
/* wait for results from all worker tasks */
for （i=1; i<=numworkers; i++）
{
source = i;
MPI_Recv（&offset, 1, MPI_INT, source, 2, MPI_COMM_WORLD, &status）；
MPI_Recv（&rows, 1, MPI_INT, source, 2, MPI_COMM_WORLD, &status）；
MPI_Recv（&c[offset][0], rows*N, MPI_DOUBLE, source, 2, MPI_COMM_WORLD, &status）；
}
gettimeofday（&stop, 0）；
printf（“Here is the result matrix:n”）；
for （i=0; i<N; i++） {
for （j=0; j<N; j++）
printf（“%6.2f ”, c[i][j]）；
printf （“n”）；
}
fprintf（stdout,“Time = %.6fnn”,
（stop.tv_sec+stop.tv_usec*1e-6）-（start.tv_sec+start.tv_usec*1e-6））；
}
/*---------------------------- worker----------------------------*/
if （taskid > 0） {
source = 0;
MPI_Recv（&offset, 1, MPI_INT, source, 1, MPI_COMM_WORLD, &status）；
MPI_Recv（&rows, 1, MPI_INT, source, 1, MPI_COMM_WORLD, &status）；
MPI_Recv（&a, rows*N, MPI_DOUBLE, source, 1, MPI_COMM_WORLD, &status）；
MPI_Recv（&b, N*N, MPI_DOUBLE, source, 1, MPI_COMM_WORLD, &status）；
/* Matrix multiplication */
for （k=0; k<N; k++）
for （i=0; i<rows; i++） {
c[i][k] = 0.0;
for （j=0; j<N; j++）
c[i][k] = c[i][k] + a[i][j] * b[j][k];
}
MPI_Send（&offset, 1, MPI_INT, 0, 2, MPI_COMM_WORLD）；
MPI_Send（&rows, 1, MPI_INT, 0, 2, MPI_COMM_WORLD）；
MPI_Send（&c, rows*N, MPI_DOUBLE, 0, 2, MPI_COMM_WORLD）；
}
MPI_Finalize（）；
}
结果
接下来，我们优化代码，让它符合以下要求：
应使用#define N 定义矩阵的大小。
矩阵中的元素类型应该是“float”.
矩阵可以是方形矩阵（例如，N*N），但N不能恰好被处理器的数量整除
应检查计算打印结果矩阵的正确性。可使用#define PRINT定义打印代码段
应找到这种代码加速（例如：对于N = 100,200等）与连续矩阵乘法代码比较。
例3:解决方案
/**********************************************************************
* MPI-based matrix multiplication AxB=C
*********************************************************************/
#include <stdio.h>
#include <sys/time.h>
#include “mpi.h”
#define N 500 /* number of rows and columns in matrix */
MPI_Status status;
float a[N][N],b[N][N],c[N][N];
main（int argc, char **argv）
{
int numtasks,taskid,numworkers,source,dest,rows,offset,remain,i,j,k;
struct timeval start, stop;
MPI_Init（&argc, &argv）；
MPI_Comm_rank（MPI_COMM_WORLD, &taskid）；
MPI_Comm_size（MPI_COMM_WORLD, &numtasks）；
numworkers = numtasks-1;
/*---------------------------- master ----------------------------*/
if （taskid == 0） {
for （i=0; i<N; i++） {
for （j=0; j<N; j++） {
a[i][j]= 1.0;
b[i][j]= 2.0;
}
}
#ifdef PRINT
/* print matrices */
printf（“Matrix A:n”）；
for （i=0; i<N; i++）{
for （j=0; j<N; j++）
printf（“%.3ft”,a[i][j]）；
printf（“n”）；
}
printf（“Matrix B:n”）；
for （i=0; i<N; i++）{
for （j=0; j<N; j++）
printf（“%.3ft”,b[i][j]）；
printf（“n”）；
}
#endif
gettimeofday（&start, 0）；
/* send matrix data to the worker tasks */
if （N <= numworkers）
{
rows = 1;
}
else
{
if （N%numworkers!=0） // Not divisible by numworkers
{
rows = N/numworkers+1;
remain = N%numworkers;
}
else
{
rows = N/numworkers;
}
}
offset = 0;
for （dest=1; dest<=numworkers; dest++, remain--）
{
MPI_Send（&offset, 1, MPI_INT, dest, 1, MPI_COMM_WORLD）；
MPI_Send（&rows, 1, MPI_INT, dest, 1, MPI_COMM_WORLD）；
MPI_Send（&a[offset][0], rows*N, MPI_FLOAT,dest,1, MPI_COMM_WORLD）；
MPI_Send（&b, N*N, MPI_FLOAT, dest, 1, MPI_COMM_WORLD）；
offset = offset + rows;
if（remain==1） rows-=1;
}
/* wait for results from all worker tasks */
for （i=1; i<=numworkers; i++）
{
source = i;
MPI_Recv（&offset, 1, MPI_INT, source, 2, MPI_COMM_WORLD, &status）；
MPI_Recv（&rows, 1, MPI_INT, source, 2, MPI_COMM_WORLD, &status）；
MPI_Recv（&c[offset][0], rows*N, MPI_FLOAT, source, 2, MPI_COMM_WORLD, &status）；
}
gettimeofday（&stop, 0）；
#ifdef PRINT
printf（“Here is the result matrix:n”）；
for （i=0; i<N; i++） {
for （j=0; j<N; j++）
printf（“%6.2f ”, c[i][j]）；
printf （“n”）；
}
#endif
fprintf（stdout,“Time = %.6fnn”,
（stop.tv_sec+stop.tv_usec*1e-6）-（start.tv_sec+start.tv_usec*1e-6））；
}
/*---------------------------- worker----tbw------------------------*/
if （taskid > 0） {
source = 0;
MPI_Recv（&offset, 1, MPI_INT, source, 1, MPI_COMM_WORLD, &status）；
MPI_Recv（&rows, 1, MPI_INT, source, 1, MPI_COMM_WORLD, &status）；
MPI_Recv（&a, rows*N, MPI_FLOAT, source, 1, MPI_COMM_WORLD, &status）；
MPI_Recv（&b, N*N, MPI_FLOAT, source, 1, MPI_COMM_WORLD, &status）；
/* Matrix multiplication */
for （k=0; k<N; k++）
for （i=0; i<rows; i++） {
c[i][k] = 0.0;
for （j=0; j<N; j++）
c[i][k] = c[i][k] + a[i][j] * b[j][k];
}
MPI_Send（&offset, 1, MPI_INT, 0, 2, MPI_COMM_WORLD）；
MPI_Send（&rows, 1, MPI_INT, 0, 2, MPI_COMM_WORLD）；
MPI_Send（&c, rows*N, MPI_FLOAT, 0, 2, MPI_COMM_WORLD）；
}
MPI_Finalize（）；
}