Windows下安装Scrapy出现的问题及其解决方法

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。在安装Scrapy模块时，pip install Scrapy出现了以下报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools。这是由于Scrapy有很多个依赖，所以在安装Scrapy之前你就要先安装其他的依赖，其中一个就是Twisted模块。但是在pip install Twisted的时候，还是出现上述报错。

• 安装Twisted模块
  要安装Twisted模块，首先要先安装wheel模块。
  1.确认python的版本。打开命令行工具输入python命令，输出如下图。
  python版本.png
  去https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应版本的Twisted，cp后面跟的是版本号，例如我的版本号是3.6.5，那么我要下载的是cp36；根据AMD64还是WIN32选择下载的Twisted版本。针对我的python，我下载的是Twisted-19.2.0-cp36-cp36m-win_amd64.whl。下载之后再文件所在路径下执行pip install Twisted-19.2.0-cp36-cp36m-win_amd64.whl（这里是你下载的对应文件名）。安装成功之后再pip install Scrapy安装scrapy模块即可。输入scrapy命令，如果可以看到scrapy的操作命令，即说明scrapy安装成功。
• Anaconda安装
  除了上述方式安装scrapy模块之外，还可以通过Anaconda直接安装scrapy模块。
  1.先下载安装Anaconda客户端。
  2.安装scrapy模块。
  （Anaconda的下载安装有很多教程，就不赘述了，这里只提供一种思路）