python矩阵相乘 速度_如何在Python中加速矩阵乘法？

我正在开发一个小的神经网络，它的参数需要大量的优化，所以需要大量的处理时间。我已经用cProfile分析了我的脚本，80%的处理器时间是NumPy dot函数，其余的是用numpy.linalg.solve函数的矩阵求逆。

我当前版本的numpy使用blas，或者它看起来是这样的，因为numpy.core._dotblas.dot显示为占处理总时间80%的函数。

因为它是我的神经网络的核心，而且我必须经常运行它，任何小的速度增益都可以在无数次重复的参数优化中节省我很多时间。

更精确：矩阵乘法是在最小100*100到500*500的矩阵上进行的。我有一台12核的计算机，到目前为止用它们并行地运行不同的神经网络参数优化，但也许矩阵乘法可以并行地进行呢？

谢谢你抽出时间！

回答：

我花了几天时间测试和安装卸载库。。。以下是我测试的结果：

默认情况下，在我的Ubuntu版本(12.04)和respository安装的Numpy版本上，BLAS库是ATLAS库。我做了一些测试，具体反映了我感兴趣的计算的改进，所以这些结果不能被解释为最终答案。这些计算包括55000个迭代循环中的矩阵乘法(点乘)，500*500和1000*1000个矩阵。我使用的是HP Z800工作站，Xeon [email protected]，12核。所有的结果(百分比)都是描述的条件和参考文献(这里是打包的ATLAS库)之间的比较。Scipy.sparse module：我不知道我是否设置正确，但是使用10%的稀疏性，从使用OpenBLAS和MKL的1500*1500矩阵开始，使用这个模块变得非常有用。如果你有关于如何正确使用它们的建议，我很感兴趣！

使用OpenBlas，500*500矩阵的速度提高了33%，而1000*1000矩阵的速度提高了160%。但是对于OpenBLAS，scipy.sparse模块的性能实际上并不是更好，而是更差。

这里最大的赢家是MKL库。使用原始ATLAS库中的1000*1000矩阵，加速率提高到230%！对于500*500矩阵，加速度更适中(100%)，但仍然非常好。此外，使用OpenMP进行编译，矩阵乘法可以在我的12个处理器上运行，在这里，它的速度是使用MKL库的一个处理器的两倍。但这是对处理能力的浪费，使用多处理模块并行运行脚本/矩阵乘法要高效得多。