基于Cuda的几种并行稀疏矩阵乘法方法（一）

　　最近由于研究需要和兴趣看了很多稀疏矩阵乘法的算法，这方面的研究千奇百怪，研究人员真的是十八般武艺全都用上了，好吧，就让我来说说这个东西吧，由于这个东西实在方法太多，所以请容许我一节一节地去完善。
　　1、存储方式
　　稀疏矩阵的存储方式真的非常多，也各有千秋，它们包括CSR（许多库的首选存储方式），COO（MATLAB存储稀疏矩阵的方式），CSC（这个也可以看成是CSR，做个转置就完了），ELL等等。最近还看到了一种aligned-COO的存储方式。虽然有那么多种存储方式，但思想都是接近的，比如说CSR吧，就是只存储非零元素val，然后把列标都记录下来col_ptr，行标取每行第一个数在val中的位置。就不举例子了，网上说得很全。
　　2、CUDA并行的计算方法
　　其实CUDA最重要的事情有两个方面，一个是对全局内存的访问，另一个是所有线程的divergence的问题。所以存储结构和实现方法是相当重要的，我首先讲两个最简单的基于CSR存储的实现方法，一种是利用每个block算一列，另一种是利用每个block算一行。
　　其实这俩方法都挺简单，没有做任何优化的话还是直接贴代码吧，等我想想优化怎么写再详细说说：
　　每个block计算一列：
　　

while (row<M)
    {
        index_start=row_ptr[row];index_end=row_ptr[row+1];
        sum=0;
        for (int k=index_start;k
        {
            col_index=col_ptr[k];
            a_r=col_index/M_B;b_r=col_index%M_B;
            a=A[a_r*N_A+a_c];b=B[b_r*N_B+b_c];
            khro_value=a*b;
            sum+=val[k]*khro_value;
        }
        C[col*M+row]=sum;
        row+=thd;
    }

　　每个block计算一行：
　　

while (j0;
            for (int k=0;kif((k+t)>nnz_row)
                {
                    break;
                }
                col_index=col_ptr[k+index_start+t];
                a_r=col_index/M_B;a_c=j/N_B;b_r=col_index%M_B;b_c=j%N_B;
                a=A[a_r*N_A+a_c];b=B[b_r*N_B+b_c];
                khro_value=a*b;
                sum+=PartRow[k]*khro_value;
            }
            C[j*M+i]+=sum;
            j+=thd;
        }

　　3、实验结果
　　其实挺好分析的，如果每个block计算一个列的话，有很严重的divergence的问题还有数据访问的问题，也就是说uncoalesced.但是如果每个block计算一行的话，上面的问题就可以比较好解决。但是我的实验里面为啥用了shared_memory却不如没有用shared_memory好呢，这个我还没有想得很清楚。。。还是贴张实验图片吧，确实这个uncoalesced的影响还是很大的。