win7（win32）安装python 爬虫工具scrapy记录

win7（win32）安装python 爬虫工具scrapy记录

2014-7-19阅读454 评论0

win7（win32）安装python 爬虫工具scrapy记录：

过程中遇到的主要问题总结：

一、pypi网站下的packages不知道怎么准确查找定位，比如“https://pypi.python.org/packages/2.7/s/setuptools/”这个下的packages目录

死活找不到。

二、scrapy官网上没说windows下的安装包，“Scrapy-0.24.2-py2-none-any.whl (md5)”这个安装包的意思是全平台通用？

把这个安装包下载解压放到python的第三方目录C:\Python27\Lib\site-packages中，使用easy_install进行安装成功。

三、第二步完成以后，尝试启动scrapy，起来来，但是有warning：
:0: UserWarning: You do not have a working installation of the service_identity
module: 'No module named service_identity'.  Please install it from i.python.org/pypi/service_identity> and make sure all of its dependencies are sa
tisfied.  Without the service_identity module and a recent enough pyOpenSSL to s
upport it, Twisted can perform only rudimentary TLS client hostname verification
.  Many valid certificate/hostname mappings may be rejected.
于是执行：easy_install.py service_identity，一大堆看起来就是缺少了一个模块，
让工具自己搜索安装，完成再次启动scrapy，成功！


四、新问题又来了，启动scrapy shell，报错一大堆，尼玛……
找到下面这串：
    raise ImportError("Error loading object '%s': %s" % (path, e))
ImportError: Error loading object 'scrapy.core.downloader.handlers.s3.S3Download
Handler': No module named win32api
这又尼玛缺少模块啊。
这次通过网上查找，发现可能是版本问题，提示如下操作：
出现No module named win32api异常，到这里下载对应版本的安装模块
http://starship.python.net/crew/mhammond/downloads/
按操作指示安装完成，启动，终于尼玛成功了！

五、按整个过程得出的理解，只要安装了easy_install以后，其他包都可以下载源码版本放在第三方C:\Python27\Lib\site-packages目录下，通过这个命令进行安装。

注：第四个安装问题是参考：http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4075273解决的。

以下是安装scrapy所需的前提条件，python肯定是必备的，其他的模块安装包之类的，都是硬性要求，看到了找对应版本安装即可。

1、python

https://www.python.org/downloads/windows/

我安装的是，Python 2.7.7 - June 1, 2014，自行按需选择版本即可。

安装完成后需要将python路径加到windows环境变量当中。

2、 Twisted
http://twistedmatrix.com/Releases/Twisted/
目录下有各种版本，选择适合当前安装python版本的最新版即可。


3、setuptools


https://pypi.python.org/packages/2.7/s/setuptools/


     选择：setuptools-0.6c11.win32-py2.7.exe   安装。


4、zopo.interface


http://pypi.python.org/packages/2.7/z/zope.interface
下载zope.interface-4.1.1.win32-py2.7.exe 安装。
注：上一步安装完成后，其实可以直接使用easy_install工具了，如下可以直接进入python的脚本scripts目录调起：
C:\Python27\Scripts>easy_install.exe  zope.interface-4.1.1.win32-py2.7.exe 

5、libxml2

    http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe
目录下有很多安装版，同样选择适合当前安装python版本的最新版即可

6、pyOpenssl

https://pypi.python.org/packages/2.7/p/pyOpenSSL/
下载pyOpenSSL-0.13.1.win32-py2.7.exe 安装

7、scrapy

     http://scrapy.org/
到scrapy官方网站下载。
scrapy官网上没说windows下的安装包，“Scrapy-0.24.2-py2-none-any.whl (md5)”这个安装包的意思是全平台通用？

另外一种方法：下载scrapy-scrapy-0.25.1-25-ge748ca5.tar后直接解压在python 第三方平台的目录，然后调用easy_install.ext安装即可。

8、w3lib

C:\Python27\Scripts>easy_install.exe w3lib

这个好办，通过命令行安装即可。

另外，安装以后才发现这里的说明很详细，有需要的朋友可以直接参考这个文章：

http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html，这里有比较详细的

安装记录。