尝试cython和openmp

1. 初衷

最近学用python，python不愧是为程序员考虑的编程语言，写起来很快很方便，大大节省开发效率。而且，对于小规模程序，运行效率也不错。前两天写了一篇博文《【总结】学用python写程序》，大大地夸奖了python一番。不过这两天，我就受到“诅咒”了。数据规模稍微大一点，python的执行效率的差劲就体现出来了。这两天写的一个程序，尽管在我所知道的范围内，我做了python语言能做的优化，不过程序依然运行了五个小时之久。想把程序改成c++的，不过开发时间较长，而且未来可能还有改动。所以暂罢。

上网上查了查python效率的问题。一方面，网上这方面资料不是很多，例如：我们都知道stl里面set是用红黑树实现的，不过python的set怎么实现的，貌似网上没有。这说明用python的人貌似都不关心效率问题。另一方面，据网上资料说，python运行效率比java还慢。我作为c++程序员从前很鄙视java的运行效率，原来python还不如java呢！不过java是虚拟机，python是解释器，为什么python更慢呢？原因在于python更加“面向对象”，python的所有类型都是对象，连最普通的整数变量都是对象，都要在运行的时候才能够确定类型、才能够动态创建......这大大加重了运行时的负担，所以运行效率才这么差。对比之下，同样的程序用cython写，仅仅是声明了变量类型，运行效率就会有35%的提升。

我从前用过openmp，见从前的博文《简单尝试windows多线程程序》。感觉openmp是神器一个，既方便写程序，又能利用cpu的多个核心，大大提升运行效率。问题是，python中能够使用openmp么？答案是悲观的。python的默认实现是cpython，也就是用c来做的实现，而c的函数大部分都不是线程安全的，为了利用这些函数实现、同时又为了运行时的线程安全，python做了GIL（Global Interpreter Lock）的限制，也就是说，同一段时间内只有一个线程才能够访问python解释器。不过这也使得python上面的并发特别困难。

不过也不是一点方法都没有，cython现在已经支持了openmp。cython是什么？和python、cpython什么关系？python是脚本语言，cpython是用c来实现的python的解释器，cython是另外一种编程语言，介于python和c之间。实际上cython的设计初衷也是这样，既要利用python快捷的编程速度，又要有c语言的运行效率。cython和python的一个显著区别就是，cython的所有变量都要明确声明变量类型——仅仅这一点，相同的程序，cython的运行效率就要比python的高35%！虽然cython是一种独立的编程语言，不过貌似大家不用他独立的编写程序，而是用它来编写python的c扩展（用c高效实现某些程序，再给python调用）。这几天尝试的，就是在cython上面用openmp，并写成python的c扩展，给python调用。

2. 环境

windows7 + 32bit + vistual studio 2008 + python 2.7.3 + eric4，都是默认安装路径。

3. 安装cython

官网上下载的Cython-0.20.1，从控制台上切到cython的路径，运行setup.py就一路编译安装下去了，没遇到其他问题。

在网上看到，很多人在安装的时候遇到很多问题，基本上都是找不到c++编译器，具体表现是提示找不到一个叫“vs....bat”的文件。解决办法通常是安装mingw（gcc在windows下的版本），然后修改一个.cfg文件，指定用这个编译器来build。

我的安装过程没有遇到问题，看网上的解释，貌似是python2.7的cpython是用vistual studio 2008来编译的，默认找对了编译器，所以没问题了。总之，装上了，没问题。

4. 写pyx文件

pyx文件是python的c扩展文件，代码要符合cython的规范，用什么编辑器写都行。我在eric4上写的，结果它默认用python解释器来进行解释，还提示有bug，“语法错误”。不理会他，本来cython的语法在python里面就不支持。创建TestOMP.pyx文件，并在文件中写代码如下：

from cython.parallel import prange, parallel, threadid
from libc.stdio cimport printf

def Test():
    cdef int i = 0
    cdef int sum = 0
    for i in prange(1000000, num_threads=2, nogil=True):  
        printf ("%d\n", i)

第一句引入了cython中的并行处理模块，尤其是prange。我理解，prange就是“python 'range' of parallel version”，就是并行循环。第二句是引入了c语言中的‘printf’函数。整个文件就定义了一个Test函数。看到，每个变量在使用前都要声明类型。在prange中，有参数‘num_threads’来设定并发数量。nogil表示‘no gil(Global Interpreter Lock)’，想要获得并行，这个参数就要设置。在循环过程中，调用了c的库函数printf，来打印每个整数值。

5. 写setup.py文件

上面的pyx文件还仅仅是源代码文件，要想被python调用、要想运行，仅仅写了源代码还是不够的。具体来说，还要转成.c或者.c++的文件，并且再进一步转成.pyd文件。pyd文件才是可以直接使用的文件。为了达到上述目的，就要写一个setup.py脚本，如下：

#!/usr/bin/python
#python version: 2.7.3
#Filename: SetupTestOMP.py

# Run as:  
#    python setup.py build_ext --inplace  
  
import sys  
sys.path.insert(0, "..")  
  
from distutils.core import setup  
from distutils.extension import Extension  
from Cython.Build import cythonize  
from Cython.Distutils import build_ext
  
# ext_module = cythonize("TestOMP.pyx")  
ext_module = Extension(
						"TestOMP",
            ["TestOMP.pyx"],
            extra_compile_args=["/openmp"],
            extra_link_args=["/openmp"],
            )
  
setup(
    cmdclass = {'build_ext': build_ext},
		ext_modules = [ext_module], 
) 

这个完全是一个python脚本，可以在python解释器下面运行。在控制台下，运行如下命令‘python setup.py build_ext --inplace’，就生成了TestOMP.pyd文件。当然，同时还有一些杂七杂八的文件，如‘build’目录下面的‘lib’文件。这都提示着，这是在windows vistual studio环境下。在linux+gcc环境下，就要生成.so文件了，而且“/openmp”的选项就要写成“-fopenmp”

6. 写TestOMP.py文件

上述两个步骤，相当于把某个python效率瓶颈模块（这之前需要用profile工具来定位）用效率更高的代码写成了python的c扩展形式，接下来，就是要在python代码中调用他们。TestOMP.py就是这个调用的脚本，如下：

from TestOMP import Test

Test()

这个就很容易了，import并且调用。在控制台下，输入“python TestOMP.py”，运行。

7. 结果

507569
507570
507571
507572
507573
507574
507575
507576
507577
507578
507579
9185
9186
9187
9188
9189
9190
9191
9192
9193
9194
9195
9196
9197
9198
9199
9200
9201
9202
9203
9204
9205
9206
9207
9208
9209
9210
9211
9212
9213
9214
9215
9216

上面是在控制台上的输出的一个片段。能够看到，的确是prange把1000000这一个大循环分成了两个区间：[0, 500000) 和 (500001,1000000]，两个循环并行运行，并交替使用控制台IO进行输出。

8. 对应的c++程序

同时写了一个对等的c++程序，如下：

#include 

using namespace std;

void PlayOMP (void)
{
#pragma omp parallel for num_threads(2)
	for (int i=0; i<1000000; i++)
		cout <

同时，在Configuration Properties->C/C++->Language->OpenMP Support，在下拉菜单里选择Yes。并且从C:\Program Files\Microsoft Visual Studio 9.0\VC\redist\x86\Microsoft.VC90.OPENMP 和 C:\Program Files\Microsoft Visual Studio 9.0\VC\redist\Debug_NonRedist\x86\Microsoft.VC90.DebugOpenMP目录下分别拷贝vcomp90d.dll和vcomp90.dll文件到工程文件当前目录下，或者将上述两个路径设置到环境变量里面。

编译、运行，结果和python上面的一样——不过貌似更快！

完。

转载请注明出处：http://blog.csdn.net/xceman1997/article/details/26977483