Python+Scrapy安装

抓取网站的代码实现很多,如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。(我的是xp系统)

    1.安装Python

    安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址。

      

    2.安装lxml

    lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击  这里 选择对应的Python版本安装。验证是否安装成功,如下图。 
       
    
    3.安装setuptools 

    用来安装egg文件,点击  这里 下载python2.7的对应版本的setuptools。 
     
    4.安装zope.interface

    可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。

    5.安装Twisted

    Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。

    6.安装pyOpenSSL

    pyOpenSSL是Python的OpenSSL接口,点击  这里 下载。 
     
    7.安装win32py 
     
    提供win32api,点击  这里 下载

    8.安装Scrapy

  • 方法1: 控制台输入:easy_install scrapy
  • 方法2:解压缩Scrapy-0.22.2.tar.gz,在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 $ scrapy ,如果没有报错,说明安装成功。


你可能感兴趣的:(python)