openmp 快速入门 常用技巧 parallel for sections reduction critical

OpenMP并行执行的程序要全部结束后才能执行后面的非并行部分的代码。这就是标准的并行模式fork/join式并行模式,共享存储式并行程序就是使用fork/join式并行的。标准并行模式执行代码的基本思想是,程序开始时只有一个主线程,程序中的串行部分都由主线程执行,并行的部分是通过派生其他线程来执行,但是如果并行部分没有结束时是不会执行串行部分的。


摘要:

#pragma omp parallel
自动将下面语句执行N次,(N为电脑CPU核数),然后把每份指派给一个核去执行,而且多核之间为并行执行。
#pragma omp parallel for
并行执行相同代码段
自动将下面的for循环分成N份,(N为电脑CPU核数),然后把每份指派给一个核去执行,而且多核之间为并行执行。
#pragma omp parallel sections 和 #pragma omp parallel section
并行执行不同代码段,每个section都是一个线程,独立运行。
#pragma omp parallel for reduction(+:sum) 
归约
#pragma omp critical 
线程内互斥的代码段


#pragma omp parallel

自动将下面语句执行N次,(N为电脑CPU核数),然后把每份指派给一个核去执行,而且多核之间为并行执行。

void parallel_test()
{
#pragma omp parallel
	{
		printf("hello from thread %d\n",omp_get_thread_num());
	}
}


#pragma omp parallel for

并行执行相同代码段

自动将下面的for循环分成N份,(N为电脑CPU核数),然后把每份指派给一个核去执行,而且多核之间为并行执行。


注意要点

1. for循环中的循环变量必须是有符号整形。例如,for (unsigned int i = 0; i < 10; ++i){}会编译不通过;

2. for循环中比较操作符必须是<, <=, >, >=。例如for (int i = 0; i != 10; ++i){}会编译不通过;

3. for循环中的第三个表达式,必须是整数的加减,并且加减的值必须是一个循环不变量。例如for (int i = 0; i != 10; i = i + 1){}会编译不通过;感觉只能++i; i++; --i; 或i--;

4. 如果for循环中的比较操作为<或<=,那么循环变量只能增加;反之亦然。例如for (int i = 0; i != 10; --i)会编译不通过;

5. 循环必须是单入口、单出口,也就是说循环内部不允许能够达到循环以外的跳转语句,exit除外。异常的处理也必须在循环体内处理。例如:若循环体内的break或goto会跳转到循环体外,那么会编译不通过。


void parallel_for_test()
{
#pragma omp parallel for
	for (int i=0;i<10;i++)
	{
		printf("Loop: %d , thread NO: %d\n",i, omp_get_thread_num());
	}
}



#pragma omp parallel sections 和 #pragma omp parallel section

并行执行不同代码段,每个section都是一个线程,独立运行。

void parallel_sections_test()
{
#pragma omp parallel sections
    {
#pragma omp section
        {
            printf("section 1 thread NO: %d\n", omp_get_thread_num());
        }
#pragma omp section
        {
            printf("section 2 thread NO: %d\n", omp_get_thread_num());
        }
    }
}


竞态条件(race condition):

这是所有多线程编程最棘手的问题。当多个线程并行执行时,有可能多个线程同时对某变量进行了读写操作,从而导致不可预知的结果。

比如,对于包含10个整型元素的数组a,我们用for循环求它各元素之和,并将结果保存在变量sum里。

openMP为我们提供了另一个工具,归约(reduction)

reduction很方便,但它支持一些基本操作,比如+,-,*,&,|,&&,||等。


#pragma omp parallel for reduction(+:sum)

void reduction_test()
{
	int sum = 0;
	int a[10] = {1,2,3,4,5,6,7,8,9,10};
#pragma omp parallel for reduction(+:sum)
	for (int i=0;i<10;i++)
	{
	    sum = sum + a[i];
	}
	printf("Sum: %d\n", sum);
}


有些情况下,我们既要避免race condition,但涉及到的操作又超出了reduction的能力范围。

这就要用到openMP的另一个工具,critical

执行到critical里面时,要注意有没有其他线程正在里面执行,如果有的话,要等其他线程执行完再进去执行。这样就避免了race condition问题,但显而易见,它的执行速度会变低,因为可能存在线程等待的情况。

比如,求数组a的最大值,将结果保存在max里。

#pragma omp critical

void critical_test()
{
    int max = 0;
    int a[10] = {11,2,33,49,113,20,321,250,689,16};
#pragma omp parallel for
    for (int i=0;i<10;i++)
    {
        int temp = a[i];
#pragma omp critical
        {
            if (temp > max)
                max = temp;
        }
    }
    printf("Max: %d\n", max);
}

用#pragma omp critical将 if (temp > max) max = temp 括了起来,它的意思是:各个线程还是并行执行for里面的语句,但当你们执行到critical里面时,要注意有没有其他线程正在里面执行,如果有的话,要等其他线程执行完再进去执行。



1. for循环中的循环变量必须是有符号整形。例如,for (unsigned int i = 0; i < 10; ++i){}会编译不通过;

2. for循环中比较操作符必须是<, <=, >, >=。例如for (int i = 0; i != 10; ++i){}会编译不通过;

3. for循环中的第三个表达式,必须是整数的加减,并且加减的值必须是一个循环不变量。例如for (int i = 0; i != 10; i = i + 1){}会编译不通过;感觉只能++i; i++; --i; 或i--;

4. 如果for循环中的比较操作为<或<=,那么循环变量只能增加;反之亦然。例如for (int i = 0; i != 10; --i)会编译不通过;

5. 循环必须是单入口、单出口,也就是说循环内部不允许能够达到循环以外的跳转语句,exit除外。异常的处理也必须在循环体内处理。例如:若循环体内的break或goto会跳转到循环体外,那么会编译不通过。


你可能感兴趣的:(OpenMP,C/C++编程)