并行程序设计 MPI实现矩阵乘法（按行并行，分块并行，Cannon卡农算法）
文章目录
- 最简单的实现-按行并行
- 第一次改进-用Scatter, Gather, Bcast分发数据
- 第二次改进-实现分块乘法
- 第三次改进-实现Cannon卡农算法
Ubuntu配置环境：不需要看那些乱七八糟教程，只需要一行：
sudo apt-get install mpich2
最简单的实现-按行并行
主进程不参与计算，只负责分发和收集数据。在主进程中，A按行划分为大致相等的部分，然后将部分的A和全部的B传递给子进程。子进程计算部分乘法并返回结果，主进程收集并报告结果。
使用最简单的Send和Recv进行通信。
#include 第一次改进-用Scatter, Gather, Bcast分发数据
A平均分配给各个子进程，用Scatter分发更合适；B要传递给每个子进程，用Broadcast(Bcast)通信更合适。收集计算结果使用Gather.
注意：
1.改用Scatter分配数据后，每个进程分配的部分矩阵具有完全相等的规模。因此。记comm_sz为进程数，矩阵的维度需要是comm_sz的倍数。我们将矩阵的维度扩展到comm_sz的倍数，多余的部分用0填充，保证正确性。
if(n % comm_sz != 0){
n -= n % comm_sz;
n += comm_sz;
}
2.改用Scatter分配数据后，计算任务平均地分配给每一个进程，所以主进程不仅要分发收集结果，也要参与计算。起初我没有注意到这个情况，而将矩阵按(comm_sz-1)的倍数填充维度，导致分发的不平均。如果分发的行数不够，就不能保证结果正确；如果分发的行数超出，就会出现很多不同类型的内存错误（大多都源于free时内存泄漏等原因）。调这个bug很有意思，在调整指令执行顺序（比如delete的先后），调整进程数和矩阵维度时都会报不同类型的错误信息，使人误入歧途。
#include 第二次改进-实现分块乘法
将可用于计算的进程数（comm_sz-1）分解为a*b，然后将全体行划分为a个部分，全体列划分为b个部分，从而将整个矩阵划分为size相同的（comm_sz-1）个块。每个子进程负责计算最终结果的一块，只需要接收A对应范围的行和B对应范围的列，而不需要把整个矩阵传过去。主进程负责分发和汇总结果。
注意：
1.为了保证平均划分，矩阵仍需要扩展，具体操作同第一次改进。
2.第二次改进继承的是最初版本，通信接口仍然使用Send/Recv，所以进程编号要管理好。另外，因为主进程不能和自己通信，所以主进程没有参与局部计算，这点和第一次改进不同。
#include 第三次改进-实现Cannon卡农算法
针对最后的实验要求，修改两个小问题：
1.主进程需要参与计算：针对此，主进程也需要有一套partABC，又因为我使用Send和Recv通信（进程不能用Send和Recv和自己通信），主进程partA/partB/C的数据直接从A/B/partC里面复制，针对此要做条件判断。
2.实现Cannon算法：Cannon算法实际上和之前的分块乘法相同，每个进程负责矩阵其中一块的计算；但partA, partB每次只传入一块（而非整行整列），虽然增加了Send和Recv的次数，但是节省了内存，用于存储partA, partB的内存减少到原来的 1 c o m m _ s z \frac{1}{\sqrt{comm\_sz}} comm_sz1.
注意：
1.这里的实现比较简单，要求进程数comm_sz必须是平方数（程序中记comm_sz = a * a），同时矩阵的维度需要扩展到能被a整除。
2.通信接口使用Send/Recv，进程编号要管理好。
#include