Scrapy（二）| 安装

运行平台：Windows
Python版本：Python3.x
IDE: PyCharm

一、Scrapy简介：

• Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

• Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

• Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。

二、Scrapy安装：

1、直接使用指令pip3 install scrapy，发现报错：

• Failed building wheel for lxml
• Microsoft Visual C++ 10.0 is required
• Failed building twisted
• Unable to find vcvarsall.bat
  原因：Scrapy的安装需要依赖相应的第三方库。

2、解决办法

在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库，我们下载好对应自己Python版本的库即可。
(1)在cmd中输入指令python，查看python的版本，如下：

版本.PNG

从上图可以看出可以看出我的Python版本为Python3.6.5-64bit。

（2）登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下载对应的版本，例如：lxml-4.2.5-cp36-cp36m-win_adm64.whl，表示lxml的版本为4.2.5，对应的python版本为3.6-64bit。我下载的版本如下图所示：

LXML.PNG

Scrapy.PNG

Twisted.PNG

(3)在cmd中输入DOS指令，进入下载好的whl文件夹下，例如我的三个whl文件放在了Scrapy文件夹下：

cd item.PNG

(4)依次执行如下命令：

• pip3 install wheel

• pip3 install lxml-4.2.5-cp36-cp36m-win_adm64.whl

• pip3 install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

• pip3 install Scrapy-1.5.1-py2.py3-none-any.whl

(5)Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用Scrapy了。
URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

pywin.PNG

验证：（只要不报错即安装Scrapy成功）

check.PNG

---

人生苦短，我用python。
您的关注与点赞，是我努力的源泉。谢谢。