[C] 跨平台使用Intrinsic函数范例2——使用SSE2、AVX指令集 处理 双精度浮点数组求和

作者：zyl910。

　　本文面对对SSE等SIMD指令集有一定基础的读者，以双精度浮点数组求和为例演示了如何跨平台使用SSE2、AVX指令集。支持vc、gcc编译器，在Windows、Linux、Mac这三大平台上成功运行。

一、关键讲解

　　前文（http://www.cnblogs.com/zyl910/archive/2012/10/22/simdsumfloat.html）演示了如何使用SSE、AVX指令集 处理 单精度浮点数组求和。现在对其进行改造，使用SSE2、AVX指令集 处理 双精度浮点数组求和。因程序基本上差不多，文本就不详细讲解了，只说关键变化。

1.1 指令集简介

　　先来看看支持双精度浮点数的SIMD的指令集——
SSE指令集只支持单精度浮点运算，直到SSE2指令集才支持双精度浮点数运算。SSE2定义了128位紧缩双精度浮点类型，对应Intrinsic中的__m128d类型，它能一次能处理2个双精度浮点数。
AVX指令集从一开始就支持单精度与双精度浮点运算（但整数运算要等AVX2）。AVX定义了256位紧缩双精度浮点类型，对应Intrinsic中的__m256d类型，它能一次能处理4个双精度浮点数。

1.2 改造为 SSE2、AVX的双精度浮点代码

　　在使用Intrinsic函数时，将 SSE、AVX的单精度浮点代码 改造为 SSE2、AVX的双精度浮点代码是很方便的。对比前文与本文的数组求和代码，变更的地方有——

float			double			备注
指令	Intrinsic	Asm	指令	Intrinsic	Asm
SSE	__m128	XMMWORD	SSE2	__m128d	XMMWORD	类型
	_mm_setzero_ps	XORPS		_mm_setzero_pd	XORPD	赋0
	_mm_load_ps	MOVAPS		_mm_load_pd	MOVAPD	加载
	_mm_add_ps	ADDPS		_mm_add_pd	ADDPD	加法
AVX	__m256	YMMWORD	AVX	__m256d	YMMWORD	类型
	_mm256_setzero_ps	VXORPS		_mm256_setzero_pd	VXORPD	赋0
	_mm256_load_ps	VMOVAPS		_mm256_load_pd	VMOVAPD	加载
	_mm256_add_ps	VADDPS		_mm256_add_pd	VADDPD	加法

　　其次，还需要调整一下地址计算。对于C语言来说，将float指针改为double指针就能解决大多数地址计算问题了。然后再修正一下块宽计算、改写一下合并时的代码，便大功告成了。
　　例如sumfloat_sse与sumdouble_sse——

// 单精度浮点数组求和_SSE版.
float sumfloat_sse(const float* pbuf, size_t cntbuf)
{
	float s = 0;	// 求和变量.
	size_t i;
	size_t nBlockWidth = 4;	// 块宽. SSE寄存器能一次处理4个float.
	size_t cntBlock = cntbuf / nBlockWidth;	// 块数.
	size_t cntRem = cntbuf % nBlockWidth;	// 剩余数量.
	__m128 xfsSum = _mm_setzero_ps();	// 求和变量。[SSE] 赋初值0
	__m128 xfsLoad;	// 加载.
	const float* p = pbuf;	// SSE批量处理时所用的指针.
	const float* q;	// 将SSE变量上的多个数值合并时所用指针.

	// SSE批量处理.
	for(i=0; i<cntBlock; ++i)
	{
		xfsLoad = _mm_load_ps(p);	// [SSE] 加载
		xfsSum = _mm_add_ps(xfsSum, xfsLoad);	// [SSE] 单精浮点紧缩加法
		p += nBlockWidth;
	}
	// 合并.
	q = (const float*)&xfsSum;
	s = q[0] + q[1] + q[2] + q[3];

	// 处理剩下的.
	for(i=0; i<cntRem; ++i)
	{
		s += p[i];
	}

	return s;
}

// 双精度浮点数组求和_SSE版.
double sumdouble_sse(const double* pbuf, size_t cntbuf)
{
	double s = 0;	// 求和变量.
	size_t i;
	size_t nBlockWidth = 2;	// 块宽. SSE寄存器能一次处理2个double.
	size_t cntBlock = cntbuf / nBlockWidth;	// 块数.
	size_t cntRem = cntbuf % nBlockWidth;	// 剩余数量.
	__m128d xfdSum = _mm_setzero_pd();	// 求和变量。[SSE2] XORPD. 赋初值0.
	__m128d xfdLoad;	// 加载.
	const double* p = pbuf;	// SSE批量处理时所用的指针.
	const double* q;	// 将SSE变量上的多个数值合并时所用指针.

	// SSE批量处理.
	for(i=0; i<cntBlock; ++i)
	{
		xfdLoad = _mm_load_pd(p);	// [SSE2] MOVAPD. 加载.
		xfdSum = _mm_add_pd(xfdSum, xfdLoad);	// [SSE2] ADDPD. 双精浮点紧缩加法.
		p += nBlockWidth;
	}
	// 合并.
	q = (const double*)&xfdSum;
	s = q[0] + q[1];

	// 处理剩下的.
	for(i=0; i<cntRem; ++i)
	{
		s += p[i];
	}

	return s;
}

 

1.3 环境检查

　　最后，别忘了检查环境——
INTRIN_SSE2、INTRIN_AVX 宏是 zintrin.h 提供的，可用来在编译时检测编译器是否支持SSE2、AVX指令集。
simd_sse_level、simd_avx_level函数是 ccpuid.h 提供的，可用来在运行时检测当前系统环境是否支持SSE2、AVX指令集。

二、全部代码

2.1 simdsumdouble.c

　　全部代码——

#define __STDC_LIMIT_MACROS	1	// C99整数范围常量. [纯C程序可以不用, 而C++程序必须定义该宏.]

#include <stdlib.h>
#include <stdio.h>
#include <time.h>

#include "zintrin.h"
#include "ccpuid.h"


// Compiler name
#define MACTOSTR(x)	#x
#define MACROVALUESTR(x)	MACTOSTR(x)
#if defined(__ICL)	// Intel C++
#  if defined(__VERSION__)
#    define COMPILER_NAME	"Intel C++ " __VERSION__
#  elif defined(__INTEL_COMPILER_BUILD_DATE)
#    define COMPILER_NAME	"Intel C++ (" MACROVALUESTR(__INTEL_COMPILER_BUILD_DATE) ")"
#  else
#    define COMPILER_NAME	"Intel C++"
#  endif	// #  if defined(__VERSION__)
#elif defined(_MSC_VER)	// Microsoft VC++
#  if defined(_MSC_FULL_VER)
#    define COMPILER_NAME	"Microsoft VC++ (" MACROVALUESTR(_MSC_FULL_VER) ")"
#  elif defined(_MSC_VER)
#    define COMPILER_NAME	"Microsoft VC++ (" MACROVALUESTR(_MSC_VER) ")"
#  else
#    define COMPILER_NAME	"Microsoft VC++"
#  endif	// #  if defined(_MSC_FULL_VER)
#elif defined(__GNUC__)	// GCC
#  if defined(__CYGWIN__)
#    define COMPILER_NAME	"GCC(Cygmin) " __VERSION__
#  elif defined(__MINGW32__)
#    define COMPILER_NAME	"GCC(MinGW) " __VERSION__
#  else
#    define COMPILER_NAME	"GCC " __VERSION__
#  endif	// #  if defined(_MSC_FULL_VER)
#else
#  define COMPILER_NAME	"Unknown Compiler"
#endif	// #if defined(__ICL)	// Intel C++


//////////////////////////////////////////////////
// sumdouble: 双精度浮点数组求和的函数
//////////////////////////////////////////////////

// 双精度浮点数组求和_基本版.
//
// result: 返回数组求和结果.
// pbuf: 数组的首地址.
// cntbuf: 数组长度.
double sumdouble_base(const double* pbuf, size_t cntbuf)
{
	double s = 0;	// 求和变量.
	size_t i;
	for(i=0; i<cntbuf; ++i)
	{
		s += pbuf[i];
	}
	return s;
}

#ifdef INTRIN_SSE2
// 双精度浮点数组求和_SSE版.
double sumdouble_sse(const double* pbuf, size_t cntbuf)
{
	double s = 0;	// 求和变量.
	size_t i;
	size_t nBlockWidth = 2;	// 块宽. SSE寄存器能一次处理2个double.
	size_t cntBlock = cntbuf / nBlockWidth;	// 块数.
	size_t cntRem = cntbuf % nBlockWidth;	// 剩余数量.
	__m128d xfdSum = _mm_setzero_pd();	// 求和变量。[SSE2] XORPD. 赋初值0.
	__m128d xfdLoad;	// 加载.
	const double* p = pbuf;	// SSE批量处理时所用的指针.
	const double* q;	// 将SSE变量上的多个数值合并时所用指针.

	// SSE批量处理.
	for(i=0; i<cntBlock; ++i)
	{
		xfdLoad = _mm_load_pd(p);	// [SSE2] MOVAPD. 加载.
		xfdSum = _mm_add_pd(xfdSum, xfdLoad);	// [SSE2] ADDPD. 双精浮点紧缩加法.
		p += nBlockWidth;
	}
	// 合并.
	q = (const double*)&xfdSum;
	s = q[0] + q[1];

	// 处理剩下的.
	for(i=0; i<cntRem; ++i)
	{
		s += p[i];
	}

	return s;
}

// 双精度浮点数组求和_SSE四路循环展开版.
double sumdouble_sse_4loop(const double* pbuf, size_t cntbuf)
{
	double s = 0;	// 返回值.
	size_t i;
	size_t nBlockWidth = 2*4;	// 块宽. SSE寄存器能一次处理2个double，然后循环展开4次.
	size_t cntBlock = cntbuf / nBlockWidth;	// 块数.
	size_t cntRem = cntbuf % nBlockWidth;	// 剩余数量.
	__m128d xfdSum = _mm_setzero_pd();	// 求和变量。[SSE2] XORPD. 赋初值0.
	__m128d xfdSum1 = _mm_setzero_pd();
	__m128d xfdSum2 = _mm_setzero_pd();
	__m128d xfdSum3 = _mm_setzero_pd();
	__m128d xfdLoad;	// 加载.
	__m128d xfdLoad1;
	__m128d xfdLoad2;
	__m128d xfdLoad3;
	const double* p = pbuf;	// SSE批量处理时所用的指针.
	const double* q;	// 将SSE变量上的多个数值合并时所用指针.

	// SSE批量处理.
	for(i=0; i<cntBlock; ++i)
	{
		xfdLoad = _mm_load_pd(p);	// [SSE2] MOVAPD. 加载.
		xfdLoad1 = _mm_load_pd(p+2);
		xfdLoad2 = _mm_load_pd(p+4);
		xfdLoad3 = _mm_load_pd(p+6);
		xfdSum = _mm_add_pd(xfdSum, xfdLoad);	// [SSE2] ADDPD. 双精浮点紧缩加法.
		xfdSum1 = _mm_add_pd(xfdSum1, xfdLoad1);
		xfdSum2 = _mm_add_pd(xfdSum2, xfdLoad2);
		xfdSum3 = _mm_add_pd(xfdSum3, xfdLoad3);
		p += nBlockWidth;
	}
	// 合并.
	xfdSum = _mm_add_pd(xfdSum, xfdSum1);	// 两两合并(0~1).
	xfdSum2 = _mm_add_pd(xfdSum2, xfdSum3);	// 两两合并(2~3).
	xfdSum = _mm_add_pd(xfdSum, xfdSum2);	// 两两合并(0~3).
	q = (const double*)&xfdSum;
	s = q[0] + q[1];

	// 处理剩下的.
	for(i=0; i<cntRem; ++i)
	{
		s += p[i];
	}

	return s;
}
#endif	// #ifdef INTRIN_SSE2


#ifdef INTRIN_AVX
// 双精度浮点数组求和_AVX版.
double sumdouble_avx(const double* pbuf, size_t cntbuf)
{
	double s = 0;	// 求和变量.
	size_t i;
	size_t nBlockWidth = 4;	// 块宽. AVX寄存器能一次处理4个double.
	size_t cntBlock = cntbuf / nBlockWidth;	// 块数.
	size_t cntRem = cntbuf % nBlockWidth;	// 剩余数量.
	__m256d yfdSum = _mm256_setzero_pd();	// 求和变量。[AVX] VXORPD. 赋初值0.
	__m256d yfdLoad;	// 加载.
	const double* p = pbuf;	// AVX批量处理时所用的指针.
	const double* q;	// 将AVX变量上的多个数值合并时所用指针.

	// AVX批量处理.
	for(i=0; i<cntBlock; ++i)
	{
		yfdLoad = _mm256_load_pd(p);	// [AVX] VMOVAPD. 加载.
		yfdSum = _mm256_add_pd(yfdSum, yfdLoad);	// [AVX] VADDPD. 双精浮点紧缩加法.
		p += nBlockWidth;
	}
	// 合并.
	q = (const double*)&yfdSum;
	s = q[0] + q[1] + q[2] + q[3];

	// 处理剩下的.
	for(i=0; i<cntRem; ++i)
	{
		s += p[i];
	}

	return s;
}

// 双精度浮点数组求和_AVX四路循环展开版.
double sumdouble_avx_4loop(const double* pbuf, size_t cntbuf)
{
	double s = 0;	// 求和变量.
	size_t i;
	size_t nBlockWidth = 4*4;	// 块宽. AVX寄存器能一次处理8个double，然后循环展开4次.
	size_t cntBlock = cntbuf / nBlockWidth;	// 块数.
	size_t cntRem = cntbuf % nBlockWidth;	// 剩余数量.
	__m256d yfdSum = _mm256_setzero_pd();	// 求和变量。[AVX] VXORPD. 赋初值0.
	__m256d yfdSum1 = _mm256_setzero_pd();
	__m256d yfdSum2 = _mm256_setzero_pd();
	__m256d yfdSum3 = _mm256_setzero_pd();
	__m256d yfdLoad;	// 加载.
	__m256d yfdLoad1;
	__m256d yfdLoad2;
	__m256d yfdLoad3;
	const double* p = pbuf;	// AVX批量处理时所用的指针.
	const double* q;	// 将AVX变量上的多个数值合并时所用指针.

	// AVX批量处理.
	for(i=0; i<cntBlock; ++i)
	{
		yfdLoad = _mm256_load_pd(p);	// [AVX] VMOVAPD. 加载.
		yfdLoad1 = _mm256_load_pd(p+4);
		yfdLoad2 = _mm256_load_pd(p+8);
		yfdLoad3 = _mm256_load_pd(p+12);
		yfdSum = _mm256_add_pd(yfdSum, yfdLoad);	// [AVX] VADDPD. 双精浮点紧缩加法.
		yfdSum1 = _mm256_add_pd(yfdSum1, yfdLoad1);
		yfdSum2 = _mm256_add_pd(yfdSum2, yfdLoad2);
		yfdSum3 = _mm256_add_pd(yfdSum3, yfdLoad3);
		p += nBlockWidth;
	}
	// 合并.
	yfdSum = _mm256_add_pd(yfdSum, yfdSum1);	// 两两合并(0~1).
	yfdSum2 = _mm256_add_pd(yfdSum2, yfdSum3);	// 两两合并(2~3).
	yfdSum = _mm256_add_pd(yfdSum, yfdSum2);	// 两两合并(0~3).
	q = (const double*)&yfdSum;
	s = q[0] + q[1] + q[2] + q[3];

	// 处理剩下的.
	for(i=0; i<cntRem; ++i)
	{
		s += p[i];
	}

	return s;
}

#endif	// #ifdef INTRIN_AVX



//////////////////////////////////////////////////
// main
//////////////////////////////////////////////////

// 变量对齐.
#ifndef ATTR_ALIGN
#  if defined(__GNUC__)	// GCC
#    define ATTR_ALIGN(n)	__attribute__((aligned(n)))
#  else	// 否则使用VC格式.
#    define ATTR_ALIGN(n)	__declspec(align(n))
#  endif
#endif	// #ifndef ATTR_ALIGN


#define BUFSIZE	2048	// = 32KB{L1 Cache} / (2 * sizeof(double))
ATTR_ALIGN(32) double buf[BUFSIZE];

// 测试时的函数类型
typedef double (*TESTPROC)(const double* pbuf, size_t cntbuf);

// 进行测试
void runTest(const char* szname, TESTPROC proc)
{
	const int testloop = 4000;	// 重复运算几次延长时间，避免计时精度问题.
	const clock_t TIMEOUT = CLOCKS_PER_SEC/2;	// 最短测试时间.
	int i,j,k;
	clock_t	tm0, dt;	// 存储时间.
	double mps;	// M/s.
	double mps_good = 0;	// 最佳M/s. 因线程切换会导致的数值波动, 于是选取最佳值.
	volatile double n=0;	// 避免内循环被优化.
	for(i=1; i<=3; ++i)	// 多次测试.
	{
		tm0 = clock();
		// main
		k=0;
		do
		{
			for(j=1; j<=testloop; ++j)	// 重复运算几次延长时间，避免计时开销带来的影响.
			{
				n = proc(buf, BUFSIZE);	// 避免内循环被编译优化消掉.
			}
			++k;
			dt = clock() - tm0;
		}while(dt<TIMEOUT);
		// show
		mps = (double)k*testloop*BUFSIZE*CLOCKS_PER_SEC/(1024.0*1024.0*dt);	// k*testloop*BUFSIZE/(1024.0*1024.0) 将数据规模换算为M，然后再乘以 CLOCKS_PER_SEC/dt 换算为M/s .
		if (mps_good<mps)	mps_good=mps;	// 选取最佳值.
		//printf("%s:\t%.0f M/s\t//%f\n", szname, mps, n);
	}
	printf("%s:\t%.0f M/s\t//%f\n", szname, mps_good, n);
}

int main(int argc, char* argv[])
{
	char szBuf[64];
	int i;

	printf("simdsumdouble v1.00 (%dbit)\n", INTRIN_WORDSIZE);
	printf("Compiler: %s\n", COMPILER_NAME);
	cpu_getbrand(szBuf);
	printf("CPU:\t%s\n", szBuf);
	printf("\n");

	// init buf
	srand( (unsigned)time( NULL ) );
	for (i = 0; i < BUFSIZE; i++) buf[i] = (double)(rand() & 0x7fff);	// 使用&0x7fff是为了让求和后的数值在一定范围内，便于观察结果是否正确.

	// test
	runTest("sumdouble_base", sumdouble_base);	// 双精度浮点数组求和_基本版.
#ifdef INTRIN_SSE2
	if (simd_sse_level(NULL) >= SIMD_SSE_2)
	{
		runTest("sumdouble_sse", sumdouble_sse);	// 双精度浮点数组求和_SSE版.
		runTest("sumdouble_sse_4loop", sumdouble_sse_4loop);	// 双精度浮点数组求和_SSE四路循环展开版.
	}
#endif	// #ifdef INTRIN_SSE2
#ifdef INTRIN_AVX
	if (simd_avx_level(NULL) >= SIMD_AVX_1)
	{
		runTest("sumdouble_avx", sumdouble_avx);	// 双精度浮点数组求和_SSE版.
		runTest("sumdouble_avx_4loop", sumdouble_avx_4loop);	// 双精度浮点数组求和_SSE四路循环展开版.
	}
#endif	// #ifdef INTRIN_AVX

	return 0;
}

2.2 makefile

　　全部代码——

# flags
CC = g++
CFS = -Wall -msse2

# args
RELEASE =0
BITS =
CFLAGS =

# [args] 生成模式. 0代表debug模式, 1代表release模式. make RELEASE=1.
ifeq ($(RELEASE),0)
	# debug
	CFS += -g
else
	# release
	CFS += -O3 -DNDEBUG
	//CFS += -O3 -g -DNDEBUG
endif

# [args] 程序位数. 32代表32位程序, 64代表64位程序, 其他默认. make BITS=32.
ifeq ($(BITS),32)
	CFS += -m32
else
	ifeq ($(BITS),64)
		CFS += -m64
	else
	endif
endif

# [args] 使用 CFLAGS 添加新的参数. make CFLAGS="-mavx".
CFS += $(CFLAGS)


.PHONY : all clean

# files
TARGETS = simdsumdouble
OBJS = simdsumdouble.o

all : $(TARGETS)

simdsumdouble : $(OBJS)
	$(CC) $(CFS) -o $@ $^


simdsumdouble.o : simdsumdouble.c zintrin.h ccpuid.h
	$(CC) $(CFS) -c $<


clean :
	rm -f $(OBJS) $(TARGETS) $(addsuffix .exe,$(TARGETS))

三、编译测试

3.1 编译

　　在以下编译器中成功编译——
VC6：x86版。
VC2003：x86版。
VC2005：x86版。
VC2010：x86版、x64版。
GCC 4.7.0（Fedora 17 x64）：x86版、x64版。
GCC 4.6.2（MinGW(20120426)）：x86版。
GCC 4.7.1（TDM-GCC(MinGW-w64)）：x86版、x64版。
llvm-gcc-4.2（Mac OS X Lion 10.7.4, Xcode 4.4.1）：x86版、x64版。

3.2 测试

　　因虚拟机上的有效率损失，于是仅在真实系统上进行测试。

　　系统环境——
CPU：Intel(R) Core(TM) i3-2310M CPU @ 2.10GHz
操作系统：Windows 7 SP1 x64版

　　然后分别运行VC与GCC编译的Release版可执行文件，即以下4个程序——
exe\simdsumdouble_vc32.exe：VC2010 SP1 编译的32位程序，/O2 /arch:SSE2。
exe\simdsumdouble_vc64.exe：VC2010 SP1 编译的64位程序，/O2 /arch:AVX。
exe\simdsumdouble_gcc32.exe：GCC 4.7.1（TDM-GCC(MinGW-w64)） 编译的32位程序，-O3 -mavx。
exe\simdsumdouble_gcc64.exe：GCC 4.7.1（TDM-GCC(MinGW-w64)） 编译的64位程序，-O3 -mavx。

　　测试结果（使用cmdarg_ui）——

 

参考文献——
《Intel® 64 and IA-32 Architectures Software Developer’s Manual Combined Volumes:1, 2A, 2B, 2C, 3A, 3B, and 3C》044US. August 2012.http://www.intel.com/content/www/us/en/processors/architectures-software-developer-manuals.html
《Intel® Architecture Instruction Set Extensions Programming Reference》014. AUGUST 2012.http://software.intel.com/en-us/avx/
《AMD64 Architecture Programmer’s Manual Volume 4: 128-Bit and 256-Bit Media Instructions》. December 2011.http://developer.amd.com/documentation/guides/Pages/default.aspx#manuals
《[C] 让VC、BCB支持C99的整数类型（stdint.h、inttypes.h）（兼容GCC）》. http://www.cnblogs.com/zyl910/archive/2012/08/08/c99int.html
《[C] zintrin.h: 智能引入intrinsic函数 V1.01版。改进对Mac OS X的支持，增加INTRIN_WORDSIZE宏》. http://www.cnblogs.com/zyl910/archive/2012/10/01/zintrin_v101.html
《[C/C++] ccpuid：CPUID信息模块 V1.03版，改进mmx/sse指令可用性检查（使用signal、setjmp，支持纯C）、修正AVX检查Bug》.http://www.cnblogs.com/zyl910/archive/2012/10/13/ccpuid_v103.html
《[x86]SIMD指令集发展历程表（MMX、SSE、AVX等）》. http://www.cnblogs.com/zyl910/archive/2012/02/26/x86_simd_table.html
《SIMD（MMX/SSE/AVX）变量命名规范心得》. http://www.cnblogs.com/zyl910/archive/2012/04/23/simd_var_name.html
《GCC 64位程序的makefile条件编译心得——32位版与64位版、debug版与release版（兼容MinGW、TDM-GCC）》. http://www.cnblogs.com/zyl910/archive/2012/08/14/gcc64_make.html
《[C#] cmdarg_ui：“简单参数命令行程序”的通用图形界面》.  http://www.cnblogs.com/zyl910/archive/2012/06/19/cmdarg_ui.html
《[C] 跨平台使用Intrinsic函数范例1——使用SSE、AVX指令集 处理 单精度浮点数组求和（支持vc、gcc，兼容Windows、Linux、Mac）》. http://www.cnblogs.com/zyl910/archive/2012/10/22/simdsumfloat.html

源码下载——
http://files.cnblogs.com/zyl910/simdsumdouble.rar