服务器上配置gpt2环境全过程

配置信息

腾讯云学生价优惠买的30块钱3个月服务器

操作系统 CentOS 7.6 64位
CPU 1核
内存 2GB
公网带宽 1Mbps

安装python3.6.5

先查看python版本python -V发现CentOS 自带python2.7.5
我们需要安装python3，在此选取版本3.6.5

1. 安装c语言编译和构建工具

yum install gcc

2. 下载

wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz

3. 解压

gunzip Python-3.6.5.tgz

4. 把文件解归档

tar -xvf Python-3.6.5.tar

5. 安装构建过程中可能需要用到的依赖库

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

6. 执行配置并生成Makefile（构建文件）
   进入python源代码目录：cd Python-3.6.5

./configure --prefix=/usr/local/python36 --enable-optimizations

7. 构建和安装

make && make install

8. 加入环境变量

ln -s /usr/local/python36/bin/python3.6 /usr/bin/python3
ln -s /usr/local/python36/bin/pip3 /usr/bin/pip3

查看现在的python版本python3 --version是3.6.5表明安装成功
再查看pip3版本pip3 --version发现是9.0版本可以升级
升级到20.0pip3 install --upgrade pip3查看当前版本是20.0.2
至此python环境配置完毕

安装必要的库

先放入gpt-2包裹，里面有需要的库都写在了requirements.txt里
所以我们进入文件夹cd gpt-2
然后安装库

pip3 install -r requirements.txt

我们还缺少numpy

pip3 install numpy

以及tensorflow,最新版的tensorflow不支持gpt2中需要的tensorflow.contrib.rnn，我们需要1.8.0版本的

pip3 install tensorflow==1.8.0

运行

经过测试，这个服务器跑不动355M的模型，只能跑得动117M的模型
先下载模型

python3 download_model.py 117M

然后运行

python3 src/interactive_conditional_samples.py --top_k 40 --temperature 0.9 --model_name 117M

看到Model Prompt就说明运行成功啦
然后输入你要续写的内容吧