CUDA的cublas 和 Intel的MKL 矩阵运算对比
CUBLAS和MKL都是快速矩阵运算的工具 。 一个适用Intel的cpu，一个适用于nvidia的GPU。
最近在做RNN(循环神经网络)的加速。 其中一点就是把神经网络的矩阵运算放到CPU上算。所以就做了一点相关的测试。
以前我们实验室的RNN用的运算库是MKL 改到CUDA上加速之后，发现不仅没有加速，速度还变慢了！
一直以为是代码写错了。 查了好久才发现是因为 ： mkl适合频繁小矩阵相乘 cuda适合不频繁大矩阵相乘
这是我做的测试：
cublas & mkl 速度小测试： (float) ：
| matrix_size:10; calc_times:10^7 | matrix_size:100; calc_times:1000000 | matrix_size:1000; calc_times:1000 | matrix_size:10000; calc_times:1 | matrix_size:30000; calc_times:1 | |
| mkl | 5.231s | 26.73s | 7.089s | 7.088s | 2m20.647s |
| cublas | 2m0.327s | 33.608s | 4.255s | 3.821s | 2.887s （测了无数次，3W的比1W的时间还少 |
可以发现，基本所当矩阵到达几百的时候，cublas和mkl的速度能持平 之后就是矩阵越大cublas的计算速度越快。，否则则是mkl表现更优秀。
因为RNN在做语言模型的时候隐藏层只有200嘛一般。 因此基本上都是一些小矩阵运算。 所以反而比CPU上MKL慢。
～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～
大家在进行GPU加速的时候一定要考虑矩阵大小这个因素哦。