【配置】Scrapy框架安装配置

Windows 平台：

官网文档：http://doc.scrapy.org/en/latest/intro/install.html，最权威哒，下面是我的亲身体验过程。

1 安装 Python

安装过程就不多说啦。安装完之后记得配置环境变量，比如我的安装在 D 盘，D:\python2.7.7，就把以下两个路径添加到Path变量中：

D:\python2.7.7;D:\python2.7.7\Scripts;

配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功。

2 安装 pywin32

在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/

下载对应版本的 pywin32，直接双击安装即可，安装完毕之后在 python 环境下输入import win32com，如果没有提示错误，则证明安装成功。

3 安装 pip

pip是用来安装其他必要包的工具，首先下载 get-pip.py。

下载好之后，选中该文件所在路径，执行下面的命令python get-pip.py。执行完后，便会安装好 pip，并且同时安装了 setuptools。

安装完在命令行中执行pip --version。如果提示不是内部或外部命令，那么就检查一下环境变量有没有配置好吧，有两个路径。

4 安装 pyOPENSSL

在 Windows 下，是没有预装 pyOPENSSL 的，而在 Linux 下是已经安装好的。

安装地址：https://launchpad.net/pyopenssl

5 安装 lxml

lxml的详细介绍 点我 ，是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。

直接执行pip install lxml，就可完成安装。如果提示 Microsoft Visual C++库没安装，则 点我 下载支持的库。

6 安装Scrapy

最后执行pip install Scrapy，pip 会另外下载其他依赖的包，这些就不要我们手动安装啦，等待一会，大功告成！

7 验证安装

输入Scrapy，如果没有错误提示，就证明安装成功啦。如果失败了，请检查上述步骤有何疏漏。

Linux Ubuntu 平台：

Linux 下安装非常简单，只需要执行几条命令几个。

1 安装Python（自行更换版本）

sudo apt-get install python2.7 python2.7-dev

2 安装 pip

首先下载 get-pip.py，下载好之后，选中该文件所在路径，执行下面的命令

sudo python get-pip.py

3 直接安装 Scrapy

Linux下已经预装了 lxml 和 OPENSSL。
如果想验证 lxml ，可以输入：

sudo pip install lxml

出现下面的提示这证明已经安装成功：

Requirement already satisfied (use --upgrade to upgrade): lxml in /usr/lib/python2.7/dist-packages

如果想验证 openssl，则直接输入openssl 即可，如果跳转到 OPENSSL 命令行，则安装成功。

接下来直接安装 Scrapy 即可：

sudo pip install Scrapy

安装完毕之后，输入 scrapy

注意，这里 linux 下不要输入Scrapy，linux 依然严格区分大小写的。

如果出现如下提示，这证明安装成功：

Usage:
 scrapy  [options] [args]
 
Available commands:
 bench Run quick benchmark test
 fetch Fetch a URL using the Scrapy downloader
 runspider Run a self-contained spider (without creating a project)
 settings Get settings values
 shell Interactive scraping console
 startproject Create new project
 version Print Scrapy version
 view Open URL in browser, as seen by Scrapy
 
 [ more ] More commands available when run from project directory