Python3.7下scrapy框架的安装

学习爬虫的时候说到需要安装scrapy框架，然后本人就开始犯难了，怎么都装不好，下面给大家分享一下本人掉过的坑

首先安装考虑用到最简单的办法就是命令安装输入：pip install scrapy

结果不出所料报错了，提示： Failed building wheel for Twisted

                                                Microsoft Visual C++ 14.0 is required...

于是各种百度，怎么解决，这是啥意思，弄了半天还是一头雾水，最后终于找到了解决办法。

方法如下：

1、直接使用pip install scrapy安装不成功可以安装whl格式的包

首先下载scrapy的whl包（下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/）

在网页中搜索(按Ctrl+F)scrapy找到 Scrapy‑1.5.1‑py2.py3‑none‑any.whl

下载了scrapy的whl包先不要着急安装，接着 

2、安装whl格式包需要安装wheel库

这个库可以直接用命令pip install wheel安装，没有安装过的请先安装，已经安装过的就不用安装了

3、scrapy依赖twiste，同样使用whl格式的包进行安装

还是进入http://www.lfd.uci.edu/~gohlke/pythonlibs/，在网页中搜索twisted找到其对应的whl包并下载

Twisted‑18.7.0‑cp37‑cp37m‑win_amd64.whl 

根据你的Python的版本选择合适的包，名称中间的cp37是python3.7的意思，amd64是python的位数

下载完成后使用cmd打开windows的命令行窗口，进入whl包所在的文件夹执行如下命令:

pip install Twisted‑18.7.0‑cp37‑cp37m‑win_amd64.whl  

Scrapy‑1.5.1‑py2.py3‑none‑any.whl包使用同样的方式安装，只是应该等到其所有依赖的包安装完成后才能进行安装，现在还不能安装

4、scrapy依赖lxml包，需要先安装lxml包，lxml包依赖libxml2，libxml2-devel，所以安装lxmllibxml2， libxml2-devel。幸运的是我之前已经安装过lxml

如果不知道自己有木有安装过，可以命令输入pip install lxml查看，如果提示如下图说明已经安装过

5、所有准备工作做完，终于可以安装scrapy包了，进入Scrapy‑1.5.1‑py2.py3‑none‑any.whl 所在的目录执行命令
pip install Scrapy‑1.5.1‑py2.py3‑none‑any.whl 

6、等执行完成，还需要验证是否安装成功，输入scrapy -h

显示scrapy的相关信息，大功告成，散会