Scrapy 框架的简介和安装(十四)

一、Scrapy框架简介

  • Scrapy是纯Python开发的一个高效,结构化的网页抓取框架。
  • Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。
  • Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 ,Scrapy还使用了Twisted 异步网络库来处理网络通讯。
  • 注意:通过scrapy框架可以实现分布式爬取

二、Scrapy框架安装

scrapy支持Python2.7和python3.4以上版本。
python包可以用全局安装(也称为系统范围),也可以安装在用户空间中。不建议安装在系统范围。相反,建议在虚拟环境(virtualenv)中安装scrapy。Virtualenv允许不与已安装的Python系统包冲突,并且仍然通常使用pip安装。

1、windows上进行安装Scrapy框架

  • 虽然可以使用pip在Windows系统上安装Scrapy,但是官方建议安装Anaconda并使用conda安装,这样可以避免大多数问题
  • 首先在自己的一个磁盘中安装虚拟环境,打开cmd命令,输入virtualenv+虚拟环境名称。
  • 之后进入虚拟环境,即 虚拟环境名称\Scripts\activate(按回车键即可进入虚拟环境下面)。
  • 首先下载twisted(异步框架),下载官网:https://www.lfd.uci.edu/~gohlke/pythonlibs/
    Scrapy 框架的简介和安装(十四)_第1张图片
  • pip或者conda install 文件的绝对路径(安装异步框架)
  • 最后进行pip/conda install scrapy

2、Ubuntu 14.04或以上版本上进行安装Scrapy框架

scrapy目前正在使用最新版的lxml,twisted和pyOpenSSL进行测试,并且与最近的Ubuntu发行版兼容。但它也支持旧版本的Ubuntu,比如Ubuntu14.04,尽管可能存在TLS连接问题。

(1)Ubuntu安装注意事项:

  • 不要使用 python-scrapy Ubuntu提供的软件包,它们通常太旧而且速度慢,无法赶上最新的Scrapy。

(2)Ubuntu上安装

  • 要在Ubuntu(或基于Ubuntu)系统上安装scrapy,您需要安装这些依赖项:sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev(建议在虚拟环境下)
    注意:如果你想在python3上安装scrapy,你还需要Python3的开发头文件:sudo apt-get install python3-dev(建议在虚拟环境下)
  • 在virtualenv中,你可以使用pip安装Scrapy:pip install scrapy

你可能感兴趣的:(Scrapy 框架的简介和安装(十四))