Python如何加速for循环?除了Numba @jit之外还有什么方法?

今天聊聊Python 3.0的Numba库的即时编译@jit(Just in Time)。

故事背景:知乎某小透明提出的一个问题


Python的多重for循环可以用什么办法克服其速度慢的缺陷(numba@jit除外)?

最近在回看自己之前打的代码,发觉一份项目里的Python代码里面,有一个三重循环十分耗时间,使用numba的话提升效果并不明显,想问问大家如何去解决。大家一起来讨论下吧~

这个循环是在迭代的更新两个矩阵内元素,算法内的迭代并不支持用矩阵思想来批量处理,从而达到加速的目的。

Reply

现在问题算是解决了,自己来回答一波~

我的原先的函数内容大概是这样的:
Python如何加速for循环?除了Numba @jit之外还有什么方法?_第1张图片
解释一下:

#1的语句是一些有关于初始化的操作。
#update equations 大概是一个迭代更新L和R数组某元素的东西,但这种迭代不支持用一些Py的技巧来让它进行批量的处理。


那么问题出在哪儿了呢?

numba@jit其实是不支持list语句的!!! 而在#1语句里面写到了一些必须要用的list操作。所以我在notebook上跑的时候一直会报WARNING通知的,然而愚蠢的我在当时忽略了它的存在。

所以在那时,看似我加了@jit做修饰器,但其实并没有!!!

于是乎,一个比较显然的重构的想法就出来了。

Python如何加速for循环?除了Numba @jit之外还有什么方法?_第2张图片

跑通了之后,虽然还是比C++慢,但速度已经不会像当时一样不可容忍了。


关于其它的for内加速的方法:

  • @jit不说了,简单方便的一种方法,但是不支持list操作。
  • 少在循环内调用大复杂度的函数。
  • 然后cython,但可能需要重构代码之类的。
  • 或者PyPy,但它是不支持numpy相关的东西的。
  • 最后的最后,尽量做批量处理,充分发挥Py和numpy的优势!

最后吐槽一句,要不是必须用DL,我才**不用Python呢…

你可能感兴趣的:(极化码与神经网络)