搭建Python爬虫服务器

服务器环境：
centos 7.2

一、 安装python3

1. python 3.7版本需要一个新的包libffi-devel，安装此包之后再次进行编译安装即可。

 yum install libffi-devel -y

2.下载python3, 找开 https://www.python.org/ftp/python/ 根据自己的需要下载对应的版本

wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz

3.解压

tar -zxvf ./Python-3.7.2.tgz

4.配置并编译安装python3到/usr/local/python3

cd ./Python-3.7.2
./configure --prefix=/usr/local/python3
make clean && maek && make install

5. 建立软链接，方便全局运行phthon3命令

ln  /usr/local/python3/bin/pip3
ln  /usr/local/python3/bin/python3
ln  /usr/local/python3/bin/pydoc3

二、安相关软件

6. 安装爬虫框架scrapy

pip3 install scrapy

7.安装pymysql

pip3 install pymysql

8. 安装selenium和firefox

yum install firefox
pip3 install selenium

至此Python爬虫服务器就搭建好了！
希望你一切顺利！