CUDA的cublas 和 Intel的MKL 矩阵运算对比

CUBLAS和MKL都是快速矩阵运算的工具 。   一个适用Intel的cpu，一个适用于nvidia的GPU。

最近在做RNN(循环神经网络)的加速。 其中一点就是把神经网络的矩阵运算放到CPU上算。所以就做了一点相关的测试。

以前我们实验室的RNN用的运算库是MKL   改到CUDA上加速之后，发现不仅没有加速，速度还变慢了！

一直以为是代码写错了。 查了好久才发现是因为 ： mkl适合频繁小矩阵相乘 cuda适合不频繁大矩阵相乘

这是我做的测试：

cublas & mkl 速度小测试： (float) ：

	matrix_size:10; calc_times:10^7	matrix_size:100; calc_times:1000000	matrix_size:1000; calc_times:1000	matrix_size:10000; calc_times:1	matrix_size:30000; calc_times:1
mkl	5.231s	26.73s	7.089s	7.088s	2m20.647s
cublas	2m0.327s	33.608s	4.255s	3.821s	2.887s （测了无数次，3W的比1W的时间还少

可以发现，基本所当矩阵到达几百的时候，cublas和mkl的速度能持平     之后就是矩阵越大cublas的计算速度越快。，否则则是mkl表现更优秀。

因为RNN在做语言模型的时候隐藏层只有200嘛一般。 因此基本上都是一些小矩阵运算。 所以反而比CPU上MKL慢。

～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～

大家在进行GPU加速的时候一定要考虑矩阵大小这个因素哦。