torch.utils.cpp_extension对c++/cuda进行拓展

为什么pytorch要对c++/cuda进行拓展

在初始阶段，使用pytorch提供的接口组合搭配自己的神经网络就可以了，但是，随着深入进行，比如说要实现一个自己新的算法，或者是自己定义的新的层，光使用pytorch模块是不够的。虽然，pytorch在特定的模块上进行了很好的优化，，但加入将这些组合起来，一般pytorch只会按照设计好的操作去使用gpu通道，这样会使得通道空闲或者超负载，然而python解释器也不能对此进行优化，导致程序执行速度变慢，所以就需要对其进行拓展，才能充分利用gpu，加快算法速度。

拓展的具体实现过程

在pytorch0.4中，结合c语言和cuda进行拓展，使用torch.utils.ffi模块，主要内容可以参考Pytorch拓展进阶(一)：Pytorch结合C以及Cuda语言。但在pytoch1.0之后，这个模块就用不了了，用torch.utils.cpp_extension来进行代替，该模块是对c++进行拓展，而且它具有最小（但通常足够的）的参数来构建c++扩展的优点，具体的使用过程可以参考Pytorch拓展进阶(二)：Pytorch结合C++以及Cuda拓展。如果想要对多个c++文件和cuda文件进行拓展的话，具体实现可以参考maskrcnn-benchmark。

【注】在使用的过程中遇到以下错误：

ImportError: torch.utils.ffi is deprecated. Please use cpp extensions instead.

这就是说明pytorch的版本不兼容，这时候就需要修改setup.py文件。但是，cpp_extension是对c++文件进行拓展，需要将c语言文件转化为c++文件。而且使用ffi的时候会生成_ext文件，这个文件比较麻烦，在该文件夹下需要__init.py__文件。

setuptools

不论是ffi模块或是cpp_extension模块，它们的构建都使用了setuptools，它是python distutils增强版的集合，可以帮助我们更简单的创建和分发Python包，尤其是拥有依赖关系的包。他还提供了自动包查询程序，用来自动获取包之间的依赖关系，并完成这些包的安装，大大降低了安装各种包的难度，使之更加方便。所以使用pytorch的这些模块的主要目的是用来找到c文件或者是c++文件，定义编译方式，具体的创建和安装操作都是setuptools来完成。比如在一个文件夹下有如下文件：

image.png

__init__.py文件是必须要有的，setup.py是将correlation_cuda进行打包和安装的文件，里面的具体内容为：

image.png

可以看到，setup里面包含了要编译的文件（不用包含头文件），运行python setup.py install之后会生成3个文件夹，dist文件夹下的压缩包就是目标文件，build文件夹下会有.so文件的生成，另一个文件夹是以 .egg-info为结尾的文件。在这里我们主要是用到build文件夹下生成的共享文件，通过correlation.py来进行调用，自定义层，之后外部如果要用到这个correlation，只需要调用*.py文件就可以啦，这就相当于定义了一个新的模块。

image.png

参考博客：
Pytorch拓展进阶(一)：Pytorch结合C以及Cuda语言
Pytorch拓展进阶(二)：Pytorch结合C++以及Cuda拓展
maskrcnn-benchmark
faster-rcnn源码阅读：C/C++/CU扩展的编译和安装