scrapy环境搭建（一）-linux

阅读更多

系统环境：Redhat6.5系统

1、添加scrapy环境依赖

yum install -y python-devel libxml2 zlib-devel bzip2-devel xz-libs xz wget git tar gcc gcc-c++ openssl openssl-devel pcre-devel python-devel libevent automake autoconf libtool make git sqlite-devel
2、升级python

Redhat6.5 自带python2.6.6，scrapy最新版基于python2.7，需升级到python2.7.12

可到 https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz 下载

解压并安装

wget https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz
tar -xvf Python-2.7.12.tar
cd Python-2.7.12
./configure --prefix=/usr/local/python2.7.12
make && make install

 修改系统默认python为最新安装版本

mv /usr/bin/python /usr/bin/python2.6.6
ln -s /usr/local/python2.7.12/bin/python2.7 /usr/bin/python

 使用最新版python可能会导致系统的yum功能出现故障，需恢复yum的python指向

vim /usr/bin/yum  
将
#!/usr/bin/python
修改为
#!/usr/bin/python2.6.6

 3、安装setuptools

在 https://pypi.python.org/ 网站上搜索 setuptools 的安装包，本人下载安装的是 setuptools-26.0.0.tar.gz

解压后安装

cd setuptools-26.0.0
python setup.py install

 4、安装pip

在 https://pypi.python.org/ 网站上搜索 pip 的安装包，本人下载安装的是 pip-8.1.2.tar.gz

解压后安装

cd pip-8.1.2
python setup.py install

 5、设置python的命令直接使用

vim /etc/profile
添加python的路径
export PATH=$HOME/bin:/usr/local/python2.7.12/bin:/usr/local/bin:$PATH

修改完毕后重新加载生效
source /etc/profile

 6、安装scrapy

pip install Scrapy

 至此scrapy就可以使用了。