FasterTransformer 安装

第一：安装TensorRT（FasterTransformer 支持cuda10.0,所以TensorRT也下cuda10.0对应版本）

1、下载TensorRT

https://developer.nvidia.com/nvidia-tensorrt-5x-download

2、安装pycuda

pip install pycuda

3、安装 TensorRT

#在home下新建文件夹，命名为tensorrt_tar，然后将下载的压缩文件拷贝进来解压
tar xzvf TensorRT-5.0.2.6.Ubuntu-16.04.4.x86_64-gnu.cuda-9.0.cudnn7.3.tar
 
#解压得到TensorRT-5.0.2.6的文件夹，将里边的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lthpc/tensorrt_tar/TensorRT-5.0.2.6/lib
 
#安装TensorRT
cd TensorRT-5.0.2.6/python
#if python2
sudo pip2 install tensorrt-5.0.2.6-py2.py3-none-any.whl
#if python3
sudo pip3 install tensorrt-5.0.2.6-py2.py3-none-any.whl
 
#安装UFF
cd TensorRT-5.0.2.6/uff
#if python2
sudo pip2 install uff-0.5.5-py2.py3-none-any.whl
#if python3
sudo pip3 install uff-0.5.5-py2.py3-none-any.whl
 
#安装graphsurgeon
cd TensorRT-5.0.2.6/graphsurgeon
#if python2
sudo pip2 install graphsurgeon-0.3.2-py2.py3-none-any.whl
#if python3
sudo pip3 install graphsurgeon-0.3.2-py2.py3-none-any.whl

第二：安装 FasterTransformer

1、修改 fastertransformer/common.h 文件

添加： #include 要不cmake会报错

2、新建build目录

mkdir build

3、cmake

cmake -DCUDA_TOOLKIT_ROOT_DIR=/YOURDIR/cuda/10.0 -DSM=61 -DCMAKE_BUILD_TYPE=Release -DBUILD_TRT=ON -DTRT_PATH=/YOURDIR/TensorRT-5.1.5.0 -DBUILD_TF=ON -DTF_PATH=/YOURDIR/site-packages/tensorflow

其中 YOURDIR 指你自己的路径  、-DSM 要根据自己的gpu确定gpu的算力

4、make 编译

make

 

遇见的错误：

1、

Unknown or unsupported GPU architecture 错误

因为 -DSM  未制定

2、

未添加： #include

3、make提示没有 libtensorflow_framework.so

可能是用pip安装的tensorflow里面的库命名是 libtensorflow_framework.so.1 ， 连接 libtensorflow_framework.so.1到libtensorflow_framework.so