python3爬虫环境搭建（scrapy安装过程+flask1.0.2安装）

环境准备：

OS：centos7

python：3.6.5

pip3：10.0.1

scrapy：1.5.0

主要参考地址：

（1）python3安装地址：https://www.cnblogs.com/JahanGu/p/7452527.html

（2）pip3安装：https://www.cnblogs.com/wenchengxiaopenyou/p/5709218.html

(3)scrapy安装使用指南：https://scrapy-chs.readthedocs.io/zh_CN/0.24/

centos OS默认安装的为python2，python3中新特性是项目所需要的，centOS很多软件依赖的都是python2,所有不能卸载掉，python2与python3又不兼容，

所以此处保留python2,同时安装python3,所有使用python时要注明使用的版本。具体安装过程：

（1）python安装：

        完全参考：https://www.cnblogs.com/JahanGu/p/7452527.html，将版本号改为3.6.5即可；

（2）pip3安装：

     1、首先安装setuptools

           wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26
           tar -zxvf setuptools-19.6.tar.gz
           cd setuptools-19.6
           python3 setup.py build
           python3 setup.py install

     2、然后直接安装pip3：
           wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
           tar -zxvf pip-8.0.2.tar.gz
           cd pip-8.0.2
           python3 setup.py build
           python3 setup.py install

     3 、升级pip3:

         pip3  install  --upgrade pip

     4、查看pip3是否安装成功及版本号：pip3 -V

（3）安装scrapy

      1、依赖库安装

           sudo yum groupinstall development tools sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssl-devel

      2、scrapy安装

            pip3 install Scrapy

      3、检查安装是否成功

            Scrapy -V

（4）安装flask

      此处可以直接使用pip3安装：pip3 install flask

  查看是否安装成功：

 1.输入python

 2.输入import flask

 3.输入flask.__version__   

遇到问题：

（1）、软连接创建问题：

技术研发部 > python3爬虫环境搭建（scrapy安装过程+flask1.0.2安装） > image2018-5-23 16:58:19.png

     修改创建的软连接：ln -snf /usr/local/python3/bin/python3 /usr/bin/python3

（2）、pip3安装失败：参考url：https://blog.csdn.net/u010073893/article/details/54863209

        可能没创建软连接：ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3