python package numpy和scipy 的安装与配置

关于最早要用这个GAT——genomic association tester，最早怕要追溯到去年的这个时候了，安装一直搞不定，后来也就放下没有再用。因为是用python写的，要安装python以及一系列的package，外行的我几度放弃几度磨叽，今天终于算是半搞定，说是半搞定，因为在安装SciPy的过程有好多warning，不知道未来跑大的dataset是否会出问题，而且目前只是在我笔记本上wubi安装的ubuntu上的尝试，不知道如果安装在所里服务器上能否成功，这个以后会补充在这个日志里。目前先把已成功安装的部分记录下来。

GAT自然需要先安装python，然后又提示需要numpy和scipy，这是两个最重要的依赖，据我粗略所知都是python中用于计算统计方面的包。所用ubuntu 12.04 LTS。

1.安装python

先到python官网下载python安装包。然后在命令行下解压、安装。python以及package的一般安装程序简单概括就是3步： configure, make, make install .$ tar -xvf Python-2.7.5.tar.bz2      #先解压tar包 $ cd Python-2.7.5
$ ./configure --prefix=/home/fzh/software/     #选择要安装的路径，发现我安装在默认的/usr/bin/下后，再安装别的包时会出现权限不允许的情况，于s是创建另一个路径安装。
$ make &&1.7.1 make install     #如果是binary code包，则不需要make和make install
python的可执行文件在/home/fzh/software/bin/  下，要记得把此路径写入~/.bashrc 中，以后调用就比较方便了。在我的ubuntu下，
$ vim ~/.bashrc    #在末尾行或任一空行写入： export PATH="/home/fzh/software/bin:$PATH"  即可。


2. （可选）安装pip, easy_install

可安装pip，easy_install 2个常用的安装工具，两者用于安装或卸载python package。安装之前，还需要安装另一个包setuptools, 可直接下载egg file（已编译过的？）
$ sh /picb/functgen2/fzh/setuptools-0.6c11-py2.7.egg --prefix=/home/fzh/software/
使用pip 自动安装p1.7.1akage numpy：
$ pip install numpy
某些包如果不能通过pip install 的话，可手动下载安装包，解压后进入安装包：
$ cd numpy-1.17.1
$ python setup.py install
通过这2个命令来手动安装。

3. 安装GAT和所需要的numpy, Cython
 
$ cd genomic-association-tester
$ python setup.py install   #忘记是否需要make了。。。
GAT的使用方法是 gatrun.py *****

numpy安装简单，但是在运行gatrun.py 时会报出关于numpy的错误，表示某些头文件找不到。根据提示，找到了这些头文件，错误发生的原因是它们所在的目录GAT找不到，所以简单的方法就是把它们都复制到GAT指示的寻找路径下，这些头文件所在原来的路径是：
~/software/lib/python2.7/site-packages/numpy/core/include/numpy/
现在把这个numpy/ 文件夹整体复制到另一个GAT可以找到的地方：
$ cp ~/software/lib/python2.7/site-packages/numpy/core/include/numpy  ~/software/include/python2.7/
补充：这些头文件中有一个叫做 arrayobject.h ，可以试着去find它，在GAT运行的一个c文件中，提示要调用这个头文件numpy/arrayobject.h， 因此在software/ 下: 
$ find . -name numpy/arrayobject.h
找到了它，并且尝试把它放到一个GAT可以找到的路径上。而发现同时这个头文件又会调用到numpy中的许多其它头文件，于是把numpy/ 文件夹整体复制到GAT能找到的路径上。


4. 安装scipy和配置BLAS/LAPACK

安装scipy需要许多dependences，在scipy的安装包的install.txt中有提示，其中，对于ubuntu>= 8.10:
You can get all the dependencies as follows:
        sudo apt-get install python python-dev libatlas3-base-dev gcc gfortran g++
其中gcc, gfortran, g++是可以的，python-dev, libatlas3-base-dev 不行。libatlas就是接下来要提到的两个libraryBlas和Lapack。
scipy的安装require两个函数库（libarary）Blas和Lapack。可直接下载Lapack包，其中包含了blas库（只是part of Blas，complete set可通过Atlas安装）。或者使用Atlas， ATLAS  is a replacement for BLAS and parts ofLAPACK 【1】。但是发现Atlas安装过程中需要disable cpu throttling（节流），这个我试了好久也没做到，放弃之。发现根据此文http://hi.baidu.com/kaienfr/item/98a1f1bf9fcd4bf563388eb4  中的方法安装Lapack会非常简便。
官网下载Lapack，目前是 3.4.2 (2013.06.16) (上地址博文中声称是fortran版)http://www.netlib.org/lapack/lapack.tgz
$ tar -xvf lapack.tgz
$ cd lapack-3.4.2
编译lapack：
把 make.inc.example, 该名称 make.inc (这个文件很重要，一般来说，选择编译器都，定义编译参数，设置环境变量等都在这里设置)。运行:
$ make blaslib       # 编译生成librefblas.a，可改名为libblas.a
$ make lapacklib    # 编译生成liblapack.a  此名正好可用，不必改
就这么两条命令就完成编译了blas和lapack的编译了。把libblas.a 和liblapack.a 放到系统的库目录里，在我这里就是~/software/lib/ 下。
然后就可以安装scipy了。

后记：test GAT运行没有问题，结果出现的一个小问题是q alue无法计算，以后再研究。在服务器上安装以后再尝试。

【1】http://www.scipy.org/scipylib/building/linux.html#debian-ubuntu