【代码分析】cublasSgemm 矩阵乘法详解
目录
前言
预备知识
cublasSgemm 函数
求解C=AxB
不使用cublasSgemm transa与transb参数
示例程序
使用cublasSgemm transa与transb参数
示例程序
前言
cublasSgemm是NV cublas库的矩阵相乘API，由于cublas中矩阵的存储是列优先，所以cublasSgemm API的参数让新手一头雾水，经过仔细研究和实践后总结为本文，便于后来者参考
预备知识
行优先还是列优先
矩阵存储示意
矩阵在逻辑上表达为2维M行K列，但存储到内存的时候都是按一维布局，其中按行优先存储和按列优先存储的差异如上图所示
行优先存储到列优先读取对矩阵的变化影响
如上图所示，当矩阵按行优先存储然后又按相反的列优先读取的话，就会得到元矩阵转置的结果；同理适用于按列优先存储然后按行优先读取。
cublasSgemm 函数
cublasStatus_t cublasSgemm(cublasHandle_t handle,
cublasOperation_t transa, cublasOperation_t transb,
int m, int n, int k,
const float *alpha,
const float *A, int lda,
const float *B, int ldb,
const float *beta,
float *C, int ldc)
cublasSgemm的官方API说明文档链接 https://docs.nvidia.com/cuda/cublas/index.html
- 根据文档说可以知道，cublasSgemm完成了 C = alpha * op ( A ) * op ( B ) + beta * C 的矩阵乘加运算
- 其中alpha和beta是标量， A B C是以列优先存储的矩阵
- 如果 transa的参数是CUBLAS_OP_N 则op(A) = A ，如果是CUBLAS_OP_T 则op(A)=A的转置
- 如果 transb的参数是CUBLAS_OP_N 则op(B) = B ，如果是CUBLAS_OP_T 则op(B)=B的转置
由于API中的矩阵参数也用A B C表示，为了不和下面例子中的矩阵A B混淆，我们将cublasSgemm中的参数做如下的调整
- A称为乘法左矩阵
- B称为乘法右矩阵
- C称为结果矩阵
所以当alpha =1 并且 beta =0 的时候 cublasSgemm完成了计算： 结果矩阵= op (乘法左矩阵) * op ( 乘法右矩阵)
求解C=AxB
其中(A为M行K列 B为K行N列 所以 C为M行N列）
不使用cublasSgemm transa与transb参数
由于C/C++程序中输入的A和B是按行存储，所以在的情况下，cublas其实读取到的是A和B的转置矩阵AT和BT
根据线性代数的规则可知CT = (A x B)T = BT x AT 所以cublasSgemm API中几个参数设置如下
- 设置了cublasSgemm的transa与transb参数=CUBLAS_OP_N
- 乘法左矩阵为BT=参数设置为B，乘法右矩阵为AT=参数设置为A
- 结果矩阵的行数为CT的行数=参数设置为N
- 结果矩阵的列数为CT的列数=参数设置为M
- 乘法左矩阵列与乘法右矩阵的行=参数设置为K
- 按列优先读取乘法左矩阵B的主维度（即BT有几行）=参数设置为N
- 按列优先读取乘法右矩阵A的主维度（即AT有几行）=参数设置为K
- 结果矩阵存储在参数C中，它的主维度（即有几行）= 参数设置为N
cublasSgemm(handle,CUBLAS_OP_N,CUBLAS_OP_N, N, M, K,&alpha,d_b, N, d_a, K,&beta, d_c, N)
按上面的参数调用cublasSgemm API (矩阵A按行存储在指针d_a, 矩阵B按行存储在指针d_b, 矩阵C的存储空间指针d_c) 最后从结果矩阵的存储空间d_c中按行读取到的就是C=AxB的结果，整个cublasSgemm的计算过程如下图所示
不使用transa与transb参数的情况下 cublasSgemm 求解矩阵乘法的过程
示例程序
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#define M 2
#define N 4
#define K 3
void printMatrix(float (*matrix)[N], int row, int col) {
for(int i=0;i 输入 A = 
B = 
运行结果 C = AxB = 
示例程序的cublasSgemm计算求解过程
使用cublasSgemm transa与transb参数
由于C/C++程序中输入的A和B是按行存储，所以在的情况下，cublas其实读取到的是A和B的转置矩阵AT和BT
设置了cublasSgemm的transa与transb参数后可以在做矩阵运算前对读取到的AT和BT矩阵做一次转置，获得A和B
根据线性代数的规则可知C = A x B 所以cublasSgemm API中几个参数设置如下
- 设置了cublasSgemm的transa与transb参数=CUBLAS_OP_T，在进行矩阵运算前对读取的矩阵做一次转置
- 乘法左矩阵为A=参数设置为A，乘法右矩阵为B=参数设置为B
- 结果矩阵的行数为C的行数=参数设置为M
- 结果矩阵的列数为C的列数=参数设置为N
- 乘法左矩阵列与乘法右矩阵的行=参数设置为K
- 按列优先读取乘法左矩阵A的主维度（即AT有几行）=参数设置为K
- 按列优先读取乘法右矩阵B的主维度（即BT有几行）=参数设置为N
- 结果矩阵存储在参数C中，它的主维度（即有几行）= 参数设置为M
cublasSgemm(handle,CUBLAS_OP_T,CUBLAS_OP_T, M, N, K,&alpha,d_a, K, d_b, N,&beta, d_c, M);
红色的参数标记出与“不使用cublasSgemm transa与transb参数”例子中的不同，按上面的参数调用cublasSgemm API (矩阵A按行存储在指针d_a, 矩阵B按行存储在指针d_b, 矩阵C的存储空间指针d_c) 最后从结果矩阵的存储空间d_c中按行读取到的就是C=AxB后CT的结果，所以在C/C++程序中还需要对读取的结果CT做一次矩阵转置操作才能获得最终正确的C。整个cublasSgemm的计算过程如下图所示
使用transa与transb参数的情况下 cublasSgemm 求解矩阵乘法的过程
示例程序
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#define M 2
#define N 4
#define K 3
void printMatrix2(float* matrix, int row, int col) {
for(int i=0;i 输入 A = B =
运行结果由于按行优先N行M列的顺序读取h_C相当于做了C的转置，得到CT = 
在学习cublasSgemm API访问计算结果C的二维矩阵过程中，重新复习了一下二维矩阵的指针访问，可以参考我的另外一篇博文 【程序分析】指针与二维数组的访问