Hypre与Petsc安装文档及性能测试
1. 前言
本文介绍了并行计算库的Hypre和Petsc的安装方法以及在线性系统求解中不同算法的性能测试，用于日后在不同系统上的Hypre和Petsc的安装需要和新型算法性能测试基准。程序安装运行环境为NVIDIA-dgx1，详细参数请见dgx1参数。本文将分为Hypre和Petsc两个部分，分别以总体介绍，安装，程序运行关键代码和在IEEE不同节点数据下性能测试的顺序介绍两款软件的使用。
2. Hypre介绍，安装及使用
2.1 Hypre介绍
2.1.1 性能介绍
Hypre是运行在多核处理器上，借助目前性能较好的预处理矩阵（preconditioner）对于大型稀疏线性方程组使用迭代法求解的一个c语言库。其基本目标是让用户可以借助于多核处理器的并行性能，并行存储矩阵不同范围的信息，并行地进行迭代法求解，从而达到事半功倍的效果。Hypre具有扩展性极强的预处理矩阵算法，对于大型系统的预处理矩阵生成也有着不错的性能，并且迭代法所用算法选择空间较大，从后续的测试结果也可以看到，在选择了合适的算法的情况下，对于实际的电力系统线性方程组求解也可以有较快的计算速度。
另一方面，从用户的使用角度来讲，用户无需预先学习复杂的稀疏矩阵存储，而只需分配对应行列坐标给矩阵类，之后的空间压缩操作都可以由Hypre完成，这对于新手来说，可以在最短时间内搭好自己的第一个求解线性方程组程序，是很好的入门函数库。
2.1.2 程序框架介绍
Hypre使用了“原型”的概念，这个概念对于程序来说，是一种储存信息的统一格式，可以更为高效地分配存储空间。在编程之前，用户需要决定对于自己的问题，使用哪一种原型来存储信息。其包括：
-
Structured-Grid System Interface
这是应用于矩阵中非零元素十分规则，可以用Stencil类型来统一表示非0元素分布的系统。其中Stencil类型使用的相对坐标位置的方法，在确定中心点的情况下（0，0），使用对应坐标来确定非零元素的位置和值，并且在矩阵的赋值过程得以使用。
-
Linear-Algebraic System Interface (IJ)
IJ适用于一般的线性系统，这类系统非零元素的分布没有规律可循，我们可以通过按行赋值的方式存储矩阵中非零元素的信息。而在赋值完毕后，程序将使用CSR的格式存储非零元素的信息。
在线程的资源分配上，Hypre也采用了相对坐标的方式决定一个线程拥有的矩阵信息范围。使用左下角的坐标点和右上角的坐标点，Hypre可以通过他们的差值来得出其拥有的矩阵范围。另一方面，Hypre也可以通过行坐标的范围，来决定各线程所分配到矩阵范围。用户可以通过自身系统的特点，来判断到底采取哪一种分配方式。
2.1.3 用户使用的Hypre的总体步骤
综上，在使用Hypre计算线性系统方程时，需要包括以下步骤：
- 根据系统特点，选择不同的原型结构
- 根据该结构，对系统生成的矩阵进行赋值
- 为系统不同的线程分配属于该线程的系统信息
- 选用合适的方法与preconditioner进行求解
- 获取结果
2.2 Hypre安装
2.2.1 检查openmpi安装
-
首先检查系统中是否存在openmpi:
$ mpirun --version- 如果存在则直接去安装Hypre，否则先安装openmpi（本文档选用的版本是openmpi v1.10）。
2.2.2 安装openmpi
-
进入openmpi官网(https://www.open-mpi.org/software/ompi/v1.10/)，下载.tar.gz文件到本地。
-
在下载路径下，解压该tar.gz文件
$ tar -zxvf openmpi-1.10.7.tar.gz -
进入解压后生成的文件夹
$ cd openmpi-1.10.7 -
configure路径下的文件，注意"--prefix="指定的是安装路径，用户可以自己指定，在后面找得到就行。
$ ./configure --prefix="/usr/local/openmpi" -
编译并安装
$ make $ sudo make install -
为openmpi设置环境变量，进入~/.bashrc加入如下内容后保存并source
$ vim ~/.bashrc /* 以下内容在.bashrc中更改 */ export PATH="$PATH:/usr/local/openmpi/bin" export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/openmpi/lib/" /****************************************************************/ $ source ~/.bashrc -
测试是否安装成功：进入openmpi解压的文件夹中有一个examples，运行如下例程将为出现两行"hello"，则表示安装成功
$ mpirun -np 2 ./hello_c
2.2.3 安装Hypre
-
进入Hypre的github中clone源代码
$ git clone https://github.com/LLNL/hypre.git // 进入source code文件夹 $ cd hypre/src -
注意在configure的时候要让hypre知道Openmpi在哪
$ ./configure -prefix=/usr/local/hypre \ -with-MPI-include=/usr/local/openmpi/include \ -with-MPI-libs="mpi_cxx mpi" \ -with-MPI-lib-dirs=/usr/local/openmpi/lib -
编译安装
$ sudo make install需要一段时间。。。
-
在src文件夹中有一个examples文件夹，里面有测试是否安装成功的例程。在使用Makefile编译后，生成的可执行文件需要mpirun运行。
$ make $ mpirun -np 2 ex1(ex2)如果正常输出，则表示安装成功。
2.3 Hypre计算代码详解
2.3.1 Hypre线程分配空间方式
在将矩阵不同行分给hypre不同线程时，需要告知该线程矩阵的起始行和终止行，在已知矩阵总行数（N）和处理器个数（线程个数 num_procs）的情况下，考虑N无法被num_procs整除的情况，可以得到如下的计算公式。其中，myid表示这是第几个线程。
local_size = N / num_procs; // size per processor
extra = N - local_size * num_procs; // consider rows cannot be fully divided by procs
ilower = local_size * myid;
ilower += hypre_min(myid, extra);
iupper = local_size * (myid + 1);
iupper += hypre_min(myid + 1, extra);
iupper = iupper - 1;
// update num of rows
local_size = iupper - ilower + 1;
2.3.2 Hypre矩阵，向量储存形式和赋值
目前Hypre支持的存储形式为HYPRE_PARCSR，矩阵类为HYPRE_IJMatrix，和HYPRE_IJVector，经过print打出之后为“行，列，值”的坐标对。矩阵赋值支持按行赋值
HYPRE_IJMatrixSetValues(ij_matrix, nrows, ncols, rows, cols, values);
// 其中，ij_matrix为矩阵地址，nrows是赋值的行数，ncols为该行非0元素个数，rows为行坐标，cols为列作标，values为所赋的非0值
Vector的赋值与上述矩阵赋值相似。
另一方面，需要注意在每次赋值前都需要initialize矩阵，赋值完毕后都需要assemble矩阵，并且获取控制该矩阵的句柄。
HYPRE_IJMatrixInitialize(A);
/* ... 赋值操作 ... */
HYPRE_IJMatrixAssemble(A);
HYPRE_IJMatrixGetObject(A, (void **)&parcsr_A);
2.4 Hypre求解线性系统性能测试
| 计算题目 | 计算方法 | 迭代次数 | 计算时间 |
| 14节点 | ||
| PCG | 13 | 0.000860s |
| AMG | 5 | 0.000328s |
| PCG with AMG preconditioner | 4 | 0.000310s |
| 118节点 | ||
| PCG | 117 | 0.001329s |
| AMG | 10 | 0.000752s |
| PCG with AMG preconditioner | 6 | 0.000787s |
| 10790节点 | ||
| PCG | 6207 | 0.9464s |
| AMG | 12 | 0.0337s |
| PCG with AMG preconditioner | 7 | 0.0284s |
|
福建1425节点
| ||
| PCG | 21246 | 0.388728s |
| AMG | 迭代发散 | NA |
| PCG with AMG preconditioner | 375 | 0.061298s |
| 四川2433节点 | ||
| PCG | 16705 | 0.496167s |
| AMG | 迭代发散 | NA |
| PCG with AMG preconditioner | 10000(迭代未结束但结果误差在0.01级别) | 2.464774s |
3. PETSC的安装及使用
3.1 PETSC安装
3.1.1 下载PETSC安装包
说明：本部分基于机器上已经安装有openmpi，如果没有，请移步“安装openmpi”部分。
- 使用git clone下载petsc源码
$ git clone -b maint https://bitbucket.org/petsc/petsc petsc
3.1.2 安装PETSC
- 在源代码根目录下，编译源码，假设你的openmpi装在了“/usr/local/openmpi”里面，你想把petsc装在“$HOME/petsc”下：
$ ./configure --with-mpi-dir=/usr/local/openmpi/ --download-fblaslapack --prefix=$HOME/petsc
- 测试安装是否成功
$ make all test
3.1.3 运行PETSC程序
- 源代码中有一些example的文件，假定你已经在petsc根目录下面，examples的文件在 “./src/snes/examples/tutorials/”中。注意在make的时候需要指定PETSC_DIR和PETSC_ARCH中的路径。PETSC_DIR就是petsc的根目录，PETSC_ARCH是名字带“ARCH”的文件夹。假设你要编译ex12.c的文件夹
# 编译
$ make PETSC_DIR=$HOME/iterative/petsc PETSC_ARCH=arch-linux2-c-debug ex12
# mpi运行, -n 为指定processor数量
$ mpiexec -n 4 ./ex12
3.2 PETSC计算代码详解
3.2.1 PETSC线程分配空间方式
与Hypre不同的是，PETSC无需显式地表达分配给该线程的矩阵/向量行坐标范围，而只需告诉PETSC矩阵的行数和列数，使用PETSC_DECIDE让PETSC自行决定分配给该线程的行坐标范围，并且可以通过内置的函数来获得属于该线程的起始坐标和结束坐标。以下为示例代码：
// A为matrix
ierr = MatSetSizes(A, PETSC_DECIDE, PETSC_DECIDE, numRow, numCol);
/*...矩阵操作...*/
ierr = MatGetOwnershipRange(A, &Istart, &Iend);
值得一提的是，PETSC中大部分的函数操作均会返回该操作的状态码，可以通过
CHKERRQ(ierr)
来检查程序是否出错。推荐每做一次操作都要检查一次状态码。
3.2.2 PETSC矩阵，向量储存形式和赋值
PETSC存储矩阵的类型为Mat,存储向量的类型为Vec，在矩阵赋值时，需要告知行坐标，赋值个数，和所赋的值。
ierr = MatSetValues(A, 1, &Ii, 1, &J, &v, INSERT_VALUES);
其中INSERT_VALUES表示赋值类型，代表将该坐标上的参数设为v。而在每次赋值完毕后，都需要Assemble矩阵来告知系统矩阵赋值已完成。
// assemble matrix A
ierr = MatAssemblyBegin(A, MAT_FINAL_ASSEMBLY);
CHKERRQ(ierr);
ierr = MatAssemblyEnd(A, MAT_FINAL_ASSEMBLY);
CHKERRQ(ierr);
3.3 PETSC求解线性系统性能测试
目前PETSC只能支持PCG的求解，如若要使用AMG的求解需要自行编写相关的代码，因此，本文只在PETSC测试中，使用了PCG的求解方法进行性能测试。
| 计算题目 | 迭代次数 | 计算时间 |
|---|---|---|
| 14节点 | 13 | 0.001009s |
| 118节点 | 78 | 0.004705s |
| 10790节点 | 2257 | 0.911253s |
| 福建1425节点 | 发散 | NA |
| 四川2433节点 | 发散 | NA |
4 结论
本测试报告详细总结了并行计算库Hypre,PETSC的安装和求解线性方程组的过程，并且在不同的线性系统问题上进行了性能测试。测试结果表明，Hypre对于实际系统的适应度较高，在算法选择上多样，并且在合适的preconditioner的帮助下，对于实际系统方程的求解也会有比较好的性能。而PETSC在一些算法的开发的上仍然存在不足，如AMG的算法需要自行编写。并且在实际系统环境下的线性方程组求解上，无法获得比较好的结果。
作者：冘若烦
链接：https://www.jianshu.com/p/6bfadd9d6d64