scrapy安装方法（windows以及linux）
scrapy是python编写的用来进行网络抓取的一个开源的框架。具体的介绍可以参见下面的连接：
scrapy--百度百科
scrapy官方网站
scrapy依赖许多的库文件，所以scrapy的安装比较的麻烦。下面我说下我的安装过程。
安装源的选择
一般情况下，scrapy以及依赖包是从官方网站https://pypi.python.org/simple/来进行下载，但是由于该网站连接相当慢（你懂得），所以我们可以选择修改下载源。通常可以选择豆瓣的源pypi.douban.com/simple
1）windows下源的选择配置
当我们用python setup.py install 进行安装的时候，默认的是采用的官方的源，如果想要改的话，可以修改里面的配置文件setup.cfg，在里面添加这么两行：
[easy_install]
index_url = http://pypi.douban.com/simple
这样的话，就可以了。
修改了setup.cfg之后，以后配置就可以随着源码走了。
2）linux下源的选择配置
如果使用的是pip安装，那么就可以修改~/.pip/pip.conf
~/.pip/pip.conf
| 1 2 |
[global] index-url = http://pypi.douban.com/simple |
但是如果是使用setup.py安装的话，还需要修改distutils的配置。可以通过~/.pydistutils.cfg来配置distutils的源。如下：
~/.pydistutils.cfg
| 1 2 |
[easy_install] index_url = http://pypi.douban.com/simple |
然后就可以在setup.py安装依赖的时候使用豆瓣源了。
这样的话，就可以快速的下载了。
scrapy的安装
1）windows下的安装
windows的安装主要参考http://www.phpno.com/scrapy-install.html 中的安装方法。（但是其中也有些稍微的改动，最主要的不同在于所选择的源的不同。）
1、python的安装
可以从网络中获取python的安装包来进行安装。或者通过官网进行下载http://www.python.org/ftp/python/2.7.5/python-2.7.5.msi
我选择的是python2.7。然后就需要将python的路径加入环境变量：一个是python的安装路径（D:\Python27），另外一个是（D:\Python27\Scripts），我们最后安装成功的scrapy最后就是在scripts里面。
2、安装setuptools.
官网下载setuptools（http://pypi.python.org/pypi/setuptools）& 傻瓜安装
3、安装Zope.Interface
官网下载Zope.Interface（http://pypi.python.org/pypi/zope.interface/）& 傻瓜安装
验证是否安装ok
| 1 2 3 4 5 6 |
C:\Users\admin>python Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)] on win 32 Type "help", "copyright", "credits" or "license" for more information. >>> import zope.interface >>> |
4、安装Twisted
官网下载Twisted（http://twistedmatrix.com/trac/wiki/Downloads）& 傻瓜安装
5、安装w3lib
官网下载w3lib（http://pypi.python.org/pypi/w3lib）安装
| 1 2 |
#进入插件目录并执行命令安装 >D:\python-plugin\w3lib-1.3>python setup.py install |
验证
| 1 2 3 4 5 6 |
D:\python-plugin\w3lib-1.3>python Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)] on win 32 Type "help", "copyright", "credits" or "license" for more information. >>> import w3lib >>> |
6、安装libxml2
官网下载libxml2（http://users.skynet.be/sbi/libxml-python/）& 傻瓜安装
7、安装pyOpenSSL
官网下载pyOpenSSL（https://pypi.python.org/pypi/pyOpenSSL）& 傻瓜安装
pyopenssl 现在改成需要setup.py来进行安装，但是它的正确安装需要首先安装cryptography。安装cryptography需要已经正确的安装了openssl，并且需要正确的设置了头文件和库文件
set LIB=C:\OpenSSL-win32\lib;%LIB%
set INCLUDE=C:\OpenSSL-win32\include;%INCLUDE%
python setup.py cryptography
这样，正确的安装了cryptography之后，才可以安装pyopenssl
8、安装scrapy
官网下载scrapy（https://pypi.python.org/pypi/Scrapy）
安装
| 1 2 |
#进入scrapy目录并执行安装 >D:\python-plugin\Scrapy-0.16.5>python setup.py install |
验证
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
D:\python-plugin\Scrapy-0.16.5>scrapy Scrapy 0.16.5 - no active project
Usage: scrapy <command> [options] [args]
Available commands: fetch Fetch a URL using the Scrapy downloader runspider Run a self-contained spider (without creating a project) settings Get settings values shell Interactive scraping console startproject Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
D:\python-plugin\Scrapy-0.16.5> |
安装完毕 OK
2) linux下的安装
下载最新scrapy， 进去python setup.py install, 如果pypi通畅的话就一直下来，如果卡在哪个包上就手动下载安装。依赖的包很不少呢,比如Twisted, cryptography-0.2.2, zope.interface-4.1.0.tar.gz等，在这个过程中会有编译不过的一些包，主要原因是还有几个devel的库没有install, 确保install了下边这些库就行了：
easy_install Cython
yum install libxslt-devel libxml2-devel libffi-devel openssl-devel
验证：scrapystartproject tutorial不出错就OK啦~