Windows 平台:
官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程。
1 安装 Python
安装过程就不多说啦。安装完之后记得配置环境变量,比如我的安装在 D 盘,D:\python2.7.7,就把以下两个路径添加到Path变量中:
D:\python2.7.7;D:\python2.7.7\Scripts;
配置好了之后,在命令行中输入 python –version,如果没有提示错误,则安装成功。
2 安装 pywin32
在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/
下载对应版本的 pywin32,直接双击安装即可,安装完毕之后在 python 环境下输入import win32com
,如果没有提示错误,则证明安装成功。
3 安装 pip
pip是用来安装其他必要包的工具,首先下载 get-pip.py。
下载好之后,选中该文件所在路径,执行下面的命令python get-pip.py
。执行完后,便会安装好 pip,并且同时安装了 setuptools。
安装完在命令行中执行pip --version
。如果提示不是内部或外部命令
,那么就检查一下环境变量有没有配置好吧,有两个路径。
4 安装 pyOPENSSL
在 Windows 下,是没有预装 pyOPENSSL 的,而在 Linux 下是已经安装好的。
安装地址:https://launchpad.net/pyopenssl
5 安装 lxml
lxml的详细介绍 点我 ,是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。
直接执行pip install lxml
,就可完成安装。如果提示 Microsoft Visual C++库没安装,则 点我 下载支持的库。
6 安装Scrapy
最后执行pip install Scrapy
,pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!
7 验证安装
输入Scrapy
,如果没有错误提示,就证明安装成功啦。如果失败了,请检查上述步骤有何疏漏。
Linux Ubuntu 平台:
Linux 下安装非常简单,只需要执行几条命令几个。
1 安装Python(自行更换版本)
sudo apt-get install python2.7 python2.7-dev
2 安装 pip
首先下载 get-pip.py,下载好之后,选中该文件所在路径,执行下面的命令
sudo python get-pip.py
3 直接安装 Scrapy
Linux下已经预装了 lxml 和 OPENSSL。
如果想验证 lxml ,可以输入:
sudo pip install lxml
出现下面的提示这证明已经安装成功:
Requirement already satisfied (use --upgrade to upgrade): lxml in /usr/lib/python2.7/dist-packages
如果想验证 openssl,则直接输入openssl 即可,如果跳转到 OPENSSL 命令行,则安装成功。
接下来直接安装 Scrapy 即可:
sudo pip install Scrapy
安装完毕之后,输入 scrapy
注意,这里 linux 下不要输入Scrapy,linux 依然严格区分大小写的。
如果出现如下提示,这证明安装成功:
Usage:
scrapy [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory