torque 机群上 openmp+mpi混搭程序的提交

首先，程序编写与mpi单独要有区别，MPI_Init（）要改为MPI_Init_thread（），还需要判断一下环境是否满足需求。

其次，程序不能使用默认openmp 的线程数，因为，torque不能用qsub脚本设置计算节点的环境变量。而openmp默认线程数是由OMP_NUM_THREADS环境变量设置的。为了更好的适用性和可移植，把线程数用参数传入，使用omp_set_num_threads（）动态设置。

测试代码：

#include <stdio.h>
#include <omp.h>
#include <mpi.h>
#include <stdlib.h>

int rank, size;

int main (int argc, char* argv[])
{
	int provided;
	MPI_Init_thread (&argc, &argv, MPI_THREAD_FUNNELED, &provided);
	if (MPI_THREAD_FUNNELED != provided)
	{
		printf ("%d != required %d", MPI_THREAD_FUNNELED, provided);
		return 0;
    }
	MPI_Comm_rank (MPI_COMM_WORLD, &rank);
	MPI_Comm_size (MPI_COMM_WORLD, &size);
	char name[MPI_MAX_PROCESSOR_NAME];
	int length;
	MPI_Get_processor_name (name, &length);

	int omp_num_threads = 1;
	if (argc > 1)
	{
		omp_num_threads = atoi (argv[1]);
	}
	printf ("%s \n", name);

	omp_set_num_threads (omp_num_threads);
    #pragma omp parallel
	{
		printf ("%d omp thread from %d mpi process\n", omp_get_thread_num(), rank);
	}
	MPI_Finalize();
	return 0;
}

其次，提交的时候需要注意ppn（process per node）要等于openmp的线程数，以求最大的加速比。

提交脚本：

#!/bin/sh -f
#PBS -N hybrid
#PBS -l nodes=2:ppn=2
#PBS -l walltime=00:05:00
#PBS -l mem=1024mb
#PBS -o moe.txt
#PBS -e mee.txt
#PBS -q default

cd $PBS_O_WORKDIR

MVA='/usr/mpi/intel/mvapich-1.2.0/bin/mpirun '
eval $MVA -n 2 ./hybrid 2

基本框架就是这个样子滴，在本机上，最简单的还是设置OMP_NUM_THREADS环境变量。