网络爬虫框架Scrapy的搭建

前言

本文参考网络上诸多教程，在window8系统上搭建Scrapy架构，并上传自己搭建时用到的包

环境

Windows8 64位

Python2.7.9 64位

Scrapy依赖包的安装

1.安装lxml

lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。

网址链接：https://pypi.python.org/pypi/lxml/3.3.1

选择正确的版本进行下载（python版本号等）

2.安装zope.interface

网址链接

https://pypi.python.org/pypi/zope.interface/4.1.0#downloads

3.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架

网址链接：https://pypi.python.org/pypi/Twisted/15.0.0

4.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口

网址链接：https://pypi.python.org/simple/pyopenssl/

5.安装win32py

网址链接：http://sourceforge.net/projects/pywin32/files/

6.安装Scrapy

解压缩Scrapy-0.22.2.tar.gz，在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法：可以在cmd控制台执行 $ scrapy ，如果没有报错，说明安装成功。

在环境变量path中添加paython目录下的路径Scripts（E:\python\Scripts）

7.验证Scrapy安装成功