搭建Python爬虫服务器

服务器环境:
centos 7.2

一、 安装python3

  1. python 3.7版本需要一个新的包libffi-devel,安装此包之后再次进行编译安装即可。
 yum install libffi-devel -y

2.下载python3, 找开 https://www.python.org/ftp/python/ 根据自己的需要下载对应的版本

wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz

3.解压

tar -zxvf ./Python-3.7.2.tgz

4.配置并编译安装python3到/usr/local/python3

cd ./Python-3.7.2
./configure --prefix=/usr/local/python3
make clean && maek && make install

  1. 建立软链接,方便全局运行phthon3命令
ln  /usr/local/python3/bin/pip3
ln  /usr/local/python3/bin/python3
ln  /usr/local/python3/bin/pydoc3

二、安相关软件

  1. 安装爬虫框架scrapy
pip3 install scrapy

7.安装pymysql

pip3 install pymysql
  1. 安装selenium和firefox
yum install firefox
pip3 install selenium

至此Python爬虫服务器就搭建好了!
希望你一切顺利!

你可能感兴趣的:(搭建Python爬虫服务器)