caffe中的矩阵运算函数caffe_cpu_gemm,cblas_sgemm等解析

caffe中最典型且常用的卷积运算，是通过将卷积操作转化成矩阵乘法来实现的，因此，卷积层的一系列程序实际上就是在为矩阵的卷积式展开和矩阵乘法函数做准备，caffe_cpu_gemm也就是在调用矩阵乘法函数cblas_sgemm。

1.矩阵间乘法：

这里我们先来看一下这些矩阵乘法函数有输入需求，以单精度矩阵乘法函数cblas_sgemm为例：

cblas_sgemm(CblasRowMajor, CblasNoTrans, CblasNoTrans, M, N, K, alpha, A, A的列数, B, B的列数, beta, C, C的列数)

其进行的运算为：C=alpha*A*B+beta*C 

比如base_conv_layer.cpp中的forward_cpu_gemm:

caffe_cpu_gemm(CblasNoTrans, CblasNoTrans, conv_out_channels_ /group_, conv_out_spatial_dim_, kernel_dim_,
        (Dtype)1., weights + weight_offset_ * g, col_buff + col_offset_ * g,
        (Dtype)0., output + output_offset_ * g);

caffe中caffe_cpu_gemm为：

template<>
void caffe_cpu_gemm(const CBLAS_TRANSPOSE TransA,
    const CBLAS_TRANSPOSE TransB, const int M, const int N, const int K,
    const float alpha, const float* A, const float* B, const float beta,
    float* C) {
  int lda = (TransA == CblasNoTrans) ? K : M;
  int ldb = (TransB == CblasNoTrans) ? N : K;
  cblas_sgemm(CblasRowMajor, TransA, TransB, M, N, K, alpha, A, lda, B,
      ldb, beta, C, N);
}

简单来看，取的alpha=1.0，beta=0.0 ，即其对应的计算式为：C=A*B

CblasRowMajor表示数组是以行为主，相应A*B矩阵大小为（转置或没转置后的）(M*K)乘以(K*N)，可以得到M，N，K的值

前面的CblasNoTrans表示A是否转置，后面表示B是否转置，即可以表示A(T)*B=C或者A*B(T)=C或者A(T)*B(T)=C，

但如果是A的转置乘以B，那么，M，N是A的转置后的行数和列数。

最后剩下的lda,ldb和C后面的N，分别是A，B，C的列数（没进行转置的）。一般由矩阵是否转置来确定是M，N，K中的哪一个。

2.矩阵与向量乘法：

cblas_sgemv(CblasRowMajor, CblasNoTrans, A的行数, A的列数, alpha, A, A的列数, b, 1, beta, C, 1)

运算式：C=alpha*A*b+beta*C              当 取alpha=1.0，beta=0.0时，计算式：C=A*b

其参数与上面类似。