linux 离线环境安装rasa_nlu 模块

简介

在rasa-nlu模块面向中文需要mitie的信息抽取模块，在公司项目中采用的管道是mitie, tensorflow，jieba分词。

如果你的服务器能够上外网，那么恭喜你，只需要一下步骤就能够顺利完成。

pip install jieba
pip install rasa_nlu
pip install git+https://github.com/mit-nlp/MITIE.git

如果是mac系统，mac升级系统会导致git无法使用，采用一下命令

xcode-select --install

据说原因是因为每次更新系统之后xcode就被卸载了，因此需要重新安装一次。

离线安装

gcc，g++安装
首先拿到一台空的linux机子，一般没有gcc和g++，后续的mitie也无法编译。
这里我安装的是4.4.7-4版本,需要一下安装包，下载文件分享
链接:https://pan.baidu.com/s/1yJPRs59_s-9K00-doOp3vw 密码:it1l

rpm -ivh lib64gmp3-4.3.1-1mdv2010.0.x86_64.rpm
rpm -ivh ppl-0.10.2-11.el6.x86_64.rpm
rpm -ivh cloog-ppl-0.15.7-1.2.el6.x86_64.rpm
rpm -ivh mpfr-2.4.1-6.el6.x86_64.rpm
rpm -ivh cpp-4.4.7-4.el6.x86_64.rpm --force
rpm -ivh kernel-headers-2.6.32-431.el6.x86_64.rpm
rpm -ivh glibc-headers-2.12-1.132.el6.x86_64.rpm --nodeps --force
rpm -ivh glibc-devel-2.12-1.132.el6.x86_64.rpm --force --nodeps
rpm -ivh gcc-4.4.7-4.el6.x86_64.rpm --force --nodeps
rpm -ivh libstdc++-devel-4.4.7-4.el6.x86_64.rpm --force --nodeps
rpm -ivh gcc-c++-4.4.7-4.el6.x86_64.rpm --force --nodeps

执行压缩包中的install_gcc.sh 即可

bash install_gcc.sh

python环境安装
这里采用发行版anaconda进行安装。官网地址：https://www.anaconda.com/download/#linux
值得注意的是：目前首页展示的是python3.7版本。这里是个坑，就目前而言，pypi上tensorflow安装包只支持到3.6版本，一定要注意，避免后续tensorflow无法安装的尴尬局面。
可以从以下路径挑选合适的版本进行下载：
https://repo.anaconda.com/archive/

1.安装rasa_nlu
下载路径： https://pypi.org/project/rasa_nlu/

pip install rasa_nlu-0.13.6-py2.py3-none-any.whl

下载对应的版本，用pip 命令一步步安装，根据提示从pypi网站中下载对应的包
2.安装mitie
从github上下一份源码上传到linux, 地址：https://github.com/mit-nlp/MITIE

pip install MITIE-master.zip

3.安装tensorflow
这里安装的是CPU版本，之前一篇介绍过，如何离线安装，这里就不详细介绍。
地址：https://www.jianshu.com/p/36e547419c96
同样的问题，如果cpu不符合，就会出现illegal instruction (core dumped)
这里我先装了最新的1.11.0版本，后来降低版本至1.5.0，目前没问题。
若后续需要更高版本tensorflow需要从source安装。
同样，安装tensorflow需要各种依赖包，根据一步步提示从pypi网站上逐一下载。

总共所需要的包大致如下：

-rw-r--r-- 1 root root    90022 Oct 10 22:41 absl-py-0.5.0.tar.gz
-rw-r--r-- 1 root root    27074 Oct 10 22:44 astor-0.7.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root    37638 Oct 10 20:35 Automat-0.7.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root    17768 Oct 11 13:12 bleach-1.5.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root   128504 Oct 10 20:42 boto3-1.9.20-py2.py3-none-any.whl
-rw-r--r-- 1 root root  4688356 Oct 10 20:45 botocore-1.12.20-py2.py3-none-any.whl
-rw-r--r-- 1 root root    47558 Oct 10 20:35 coloredlogs-10.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root     7922 Oct 10 20:35 constantly-15.1.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root   824484 Oct 10 20:46 future-0.16.0.tar.gz
-rw-r--r-- 1 root root     9400 Oct 10 22:42 gast-0.2.0.tar.gz
-rw-r--r-- 1 root root 23189442 Oct 10 23:26 glibc-2.17.tar.gz
-rw-r--r-- 1 root root  9537130 Oct 10 22:35 grpcio-1.15.0-cp36-cp36m-manylinux1_x86_64.whl
-rw-r--r-- 1 root root   889312 Oct 11 13:10 html5lib-0.9999999.tar.gz
-rw-r--r-- 1 root root    71871 Oct 10 20:35 humanfriendly-4.16.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root    37905 Oct 10 20:35 hyperlink-18.0.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root    16667 Oct 10 20:35 incremental-17.5.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root  7309726 Oct 10 20:49 jieba-0.39.zip
-rw-r--r-- 1 root root    23497 Oct 10 20:42 jmespath-0.9.3-py2.py3-none-any.whl
-rw-r--r-- 1 root root    44277 Oct 10 22:39 Keras_Applications-1.0.6-py2.py3-none-any.whl
-rw-r--r-- 1 root root    30674 Oct 10 22:31 Keras_Preprocessing-1.0.5-py2.py3-none-any.whl
-rw-r--r-- 1 root root    30419 Oct 10 20:35 klein-17.10.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root    89434 Oct 10 22:36 Markdown-3.0.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root  6856513 Oct 10 21:32 MITIE-master.zip
-rw-r--r-- 1 root root   315725 Oct 10 22:38 msgpack-0.5.6-cp36-cp36m-manylinux1_x86_64.whl
-rw-r--r-- 1 root root    49298 Oct 10 20:35 pathlib-1.0.1.tar.gz
-rw-r--r-- 1 root root   390965 Oct 10 22:37 protobuf-3.6.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root   376623 Oct 10 20:35 PyHamcrest-1.9.0.tar.gz
-rw-r--r-- 1 root root   145315 Oct 10 20:35 rasa_nlu-0.13.6-py2.py3-none-any.whl
-rw-r--r-- 1 root root    59642 Oct 10 20:43 s3transfer-0.1.13-py2.py3-none-any.whl
-rw-r--r-- 1 root root    81203 Oct 10 20:35 simplejson-3.16.0.tar.gz
-rw-r--r-- 1 root root  3027414 Oct 10 22:33 tensorboard-1.11.0-py3-none-any.whl
-rw-r--r-- 1 root root 62953456 Oct 10 21:37 tensorflow-1.11.0-cp36-cp36m-manylinux1_x86_64.whl
-rwxr-xr-x 1 root root 44427184 Oct 11 13:06 tensorflow-1.5.0-cp36-cp36m-manylinux1_x86_64.whl
-rw-r--r-- 1 root root  3022817 Oct 11 13:08 tensorflow_tensorboard-1.5.1-py3-none-any.whl
-rw-r--r-- 1 root root     3912 Oct 10 22:41 termcolor-1.1.0.tar.gz
-rw-r--r-- 1 root root    43744 Oct 10 20:35 tqdm-4.26.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root  3063847 Oct 10 20:35 Twisted-18.7.0.tar.bz2
-rw-r--r-- 1 root root    25727 Oct 10 20:41 typing-3.6.6-py3-none-any.whl
-rw-r--r-- 1 root root   151261 Oct 10 20:35 zope.interface-4.5.0.tar.gz

包括rasa_nlu以及tensorflow所需的包，这里我上传至百度云方便大家下载
链接:https://pan.baidu.com/s/1eT03R4daon54nxCT7m6Lbg 密码:xr6e
tips: 这里的所有包是python3.6版本的。别弄错哟～

好啦，至此，成功启动服务，哈哈哈哈哈哈哈哈哈哈

祝各位同学也能成功部署好环境。

参考资料

mac升级git无法使用办法 https://blog.csdn.net/qq_23089525/article/details/52789005
linux离线安装gcc，g++ https://blog.csdn.net/yuan_ren_sheng/article/details/81021563