开始做事—安装scrapy

以下是基于python所写的一个爬虫,因为我曾经学过一点python,所以对所有的东西都会写的很详细,同时肯定会有错的。。如果您在看这个博客,希望你可以指出我的错误之处,并且可以提高之处,谢谢。

项目的初始冲动,是因为我想玩LOL的野AD豹女。。然后想查相关资料,但是发现很多类似的盒子软件都没有我满意的,所以想试着自己写一个类似的程序,来自动获得各个英雄的资料等等。

之前写过用urllib2的模块的爬虫,现在想试着用scrapy来写爬虫

因为我使用的是windows系统,所以安装scrapy需要安装一些工具:pywin32、zope.interface、pyopenssl、twisted和lxml

安装时候要看好自己的python版本,打开cmd,输入python 就可以了

开始做事—安装scrapy_第1张图片

1、安装pywin32
http://sourceforge.net/projects/pywin32/files/pywin32/
要选好适合的版本,要看好自己的python版本
另外这个安装是可能出现问题的,我在安装的时候就提示我没有安装python2.7,我的是64位电脑,python在安装的时候没有写入到注册表,所以就找不到,并且还不能手打。。。之后发现一个python代码文件,可以将python写进注册表,之后我会上传的

2、安装zope.interface
因为zope.interface是twisted的一个依赖包,所以先安装这个会比较好

开始做事—安装scrapy_第2张图片

直接点下一步就可以安装好了,真方便~

开始做事—安装scrapy_第3张图片
这样就代表安装成功了

3、安装pyopenssl
因为zope.interface也是twisted的一个依赖包,所以还是选择安装他比较好
https://pypi.python.org/pypi/pyOpenSSL#downloads

选好适合自己的版本下载

这里想吐槽一下,上面的是官网下载,但是不知道为什么,所有下载文件已经撤走了,所以我之后去找了0.13的版本来安装,我也会将这个打包上传的。

安装成功
这样就代表安装成功了

4、安装twisted
http://twistedmatrix.com/trac/wiki/Downloads从这里下载

开始做事—安装scrapy_第4张图片
点击exe即可以下载

都是直接一直点下一步就可以了

5、安装lxml
https://pypi.python.org/pypi/lxml/从这里下载,我选择了3.4.4版本

开始做事—安装scrapy_第5张图片
选择适合自己的版本下载就好了
也是一直点下一步,好爽~

6、安装easytool
http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe可以直接下载了

又是全部点下一步~
开始做事—安装scrapy_第6张图片
测试是否安装成功~

7、安装scrapy
终于到最后一步了~
http://scrapy.org/download/直接在官网下载就可以了
开始做事—安装scrapy_第7张图片

开始做事—安装scrapy_第8张图片
这就代表安装成功了。。

PS。。。关于最后一步的。。
我发现我用easy_install Scrapy 这个指令怎么也安装不了。。
于是我就用了pip install Scrapy来安装,发现他会自动下载Scrapy,也就是说我之前的下载其实是没用的。。下载后会自动安装
开始做事—安装scrapy_第9张图片

OK,Scrapy终于完全安装完毕了

我将所有安装文件以及上文提到的python代码也一起打包,下载地址在下面
http://download.csdn.net/detail/tkfeng29/9002663

你可能感兴趣的:(scrapy,python,爬虫,软件,博客)