爬虫部署在centos6.5

在CentOS6.5下同时安装、使用Python2.x和Python3.x

一般情况下，各类Linux操作系统是会默认安装Python2.x的，而且是很多系统组件的依赖包，不推荐卸载。目前Python3.x逐渐取代Python2.x。如何在我们的系统内同时安装、使用Python2.x与Python3.x呢？
下载Python3.x,下载地址可以去Python官网上寻找。

[root@master]# curl -O https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz

解压已经下载完成的源码包：

[root@master]# tar -xvJf Python-3.6.3.tar.xz -C /usr/local/share
[root@master]# cd /usr/local/share/Python-3.6.3

如果你的系统没有安装gcc的话，你还需要先完成gcc的安装：

[root@master Python-3.6.3]# yum -y install gcc

把zlib（一般情况下zlib已经安装）及zlib-devel也安装上，免得之后编译、安装过程报错，scrapy有依赖sqlite，也给装上：

[root@master Python-3.6.3]# yum -y install zlib zlib-devel openssl-devel sqlite-devel

当前的工作目录为：/usr/local/share/Python-3.6.3，依次执行：

[root@master Python-3.6.3]# ./configure --prefix=/usr/local/share/applications/Python3.6.3  
[root@master Python-3.6.3]# make&&make install

从上图我们可以看到，本次安装同时还安装了pip（版本为9.0.1）

新建软连接：

[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/python3.6 /bin/python3   
[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/pip3 /bin/pip3

输入python3，如果出现以下内容说明已经安装成功！

一般情况下，不建议修改原来的python2.x的配置信息。写python2.x脚本时申明解释器时请使用：#!/bin/python。写python3.x脚本时申明解释器是请使用：#!/bin/python3，这样的话通过./即可运行python脚本，很方便。如果不申明解释器，则运行时分别使用python或python3，后面跟脚本的全名。使用pip的时候为了便于区分，键入pip3来以示区别。

scrapy 安装出错 centos6 requirement Twisted>=13.1.0

升级python3.6.3以后发现pip 无法直接通过pip install Twisted安装。

下载源码版本的 Twisted：

[root@master]#curl -O https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2

下载完成，解压缩：

[root@master]#tar -jxvf Twisted-18.7.0.tar.bz2 

我下载的是最新的版本，并且是bz2格式压缩，因此采取以上的解压缩指令。

执行安装脚本：

[root@master]#cd Twisted-18.7.0
[root@master Twisted-18.7.0]#python3 setup.py install

等待安装完毕。
验证安装结果：

到此为止，成功通过源代码版本安装twisted!

bash: scrapy: command not found

新建软连接：

[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/scrapy /bin/scrapy