python 怎么用gpu运算_使用Python玩转GPU
问题
随着机器学习对模型运算速度的需求越来越强烈，
一直想进行GPU编程，但一直以来这些都是c++的专利
一想到c++里的各种坑，就提不起劲来，毕竟这样来来回回填坑的投入产出，生产效率就会大打折扣
解决方案
让人欣喜的是，随着Python阵营的不断发展壮大，使用python进行GPU编程也越来越便捷了
那么具体有些什么样的包，能针对GPU做些啥事呢？
看看一些具体的代码，就能大概明白：
首先是pycuda，这是它的一个例子：
mod = SourceModule("""
__global__ void multiply_them(float *dest, float *a, float *b)
{
const int i = threadIdx.x;
dest[i] = a[i] * b[i];
}
""")
由上面的代码我们可以看出，pycuda将调用gpu的c++代码做了包装，可以在python里直接使用
再看看numba：
@cuda.jit
def increment_by_one(an_array):
pos = cuda.grid(1)
if pos < an_array.size:
an_array[pos] += 1
我们可以发现，numba更进一步，直接使用装饰器的办法让调用GPU的过程更简洁方便
再看看cupy：
import numpy as np
import cupy as cp
x_gpu = cp.array([1, 2, 3])
l2_gpu = cp.linalg.norm(x_gpu)
cupy的调用方法看起来更加简单清晰，直接将np替换为cp即可
比较
所以，从机器学习全流程的角度我做了下汇总：
原始框架
GPU替代包
支持GPU
C/C++核函数
表达式核函数
装饰器 & Pythoncuda
pycuda
n卡
√
×
×
opencl
pyopencl
n卡 + a卡
√
×
×
numpy
numba
n卡
√
√
√
scipy
cupy
n卡
√
√
√
pandas
cudf & modin
n卡
无(自动)
sklearn
cuml & scikit-cuda
n卡
无(自动)
目前cupy和numba对numpy的支持都不全面，可两者结合使用
从上面可以看出，基本上已经涵盖了机器学习的全流程，大部分包只支持cuda，主要都是为方便使用n卡加速
部分包还是只能使用c/c++语言构建核函数，主要还是受限于cuda驱动的capability
所以实际使用门槛并没有降低，只是将核函数包装到python里使用
GPU的主要优势在于大规模的并行计算，所以我又收集了一些并行计算框架，方便日后使用
框架
CPU并行计算
分布式并行计算
GPU并行计算Multiprocess
√
×
×
joblib
√
×
×
dask
√
√
√
ray
√
√
√
至于机器学习/深度学习框架，那就更不用说了：
xgboost已经开始支持GPU，RandomForest也有GPU的版本，
tensorflow, pytorch默认就是支持GPU的，这里就不再赘述
结论
没有框架时，我们希望有效率的python包能快速解决问题，可框架多了，又会出现选择困难症
各种框架都宣称自己效率高，灵活好用，各种benchmark也让人眼花缭乱，目不暇接
到底用哪个框架合适，我把自己的一些经验也总结下，希望能让大家少踩一些坑：
1.对于一般的并行计算任务，使用joblib就能方便完成；
2.对于需要集群或GPU的计算任务，可以选择dask或ray；
这里推荐下dask，dask于机器学习/深度学习的计算包结合的更紧密，推出了dask_ml用于处理分布式机器学习；
3.如果想快速迁移numpy/pandas的代码到gpu，可以使用cupy + cudf的组合方式；
4.如果有复杂自定义的计算以及为了追求性能，可以使用pycuda + numba的形式；
5.对于numpy的替换到底选用cupy还是numba？
这里没有严格的界限，两者对GPU的调用方式设计，实际都会有一定的编码成本
从cupy的基本例子中可以看出，对于部分调用来说cupy更简洁，但是牺牲了cpu并行和分布式并行的功能为代价
所以目前可以持续关注这两个框架
6.对于替换pandas到底选用cudf还是modin？
modin本身并不是专为cuda并行化而设计，它只是底层支持了dask和ray，由此间接的支持了GPU
且到目前为止对pandas方法的支持还不全面，所以这里推荐选择cudf
思考
总之，python作为机器学习的首选语言，正在不断的开疆拓土，不断的降低并行计算的门槛
短短几年前，还只能用xgboost + spark的方式进行分布式训练，转眼现在就有了多种python解决方案
短短几年前，还只能用c++ cuda的方式进行GPU编程，转眼现在也有了多种纯python的框架支持
短短几年前，将GPU进行集群化、虚拟化管理几乎是不可能的，转眼现在也有了可靠的解决方案
……
但是，到目前为止，还没有一款真正能充分智能化的利用并行能力计算的框架：它能综合cpu+gpu+分布式的计算能力，目标就是为了加速计算，得到结果。期待这样的框架诞生！
相信不久的将来，会有更多更强大的python框架出现，不断的加速自动化的进程
让更多的生产力能从原始的轮子中解放出来，加快人工智能的进化！