史上最牛逼的scrapy的安装教程

Scrapy是纯Python开发的一个高效,结构化的网页抓取框架；

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。

下面介绍一下scrapy框架的安装。

1.Windows下直接安装

• 1.移步 下载 里面找到

  Twisted: an event-driven networking engine.

• 2.看一下自己的python的版本，如果你知道的话就请跳过这一步

在cmd中输入python，查看python版本

我的是3.6.1，所以我要下载3.6版本的Twisted即可。

• 3.版本的解释
  

根据自己的情况下载对应的版本

• 4.安装

在cmd中输入 pip install D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl

注意：D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl 是我下载的这个文件安装位置，根据自己情况安装。

• 5.安装scrapy

pip install scrapy

2.annaconda 下安装

1.安装conda
conda旧版本 下载地址

2. 安装scrapy conda install scrapy

3.linux下安装

• 您需要安装这些依赖项：
  sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
• 如果你想在python3上安装scrapy，你还需要Python3的开发头文件：
  sudo apt-get install python3-dev
• 在virtualenv中，你可以使用pip安装Scrapy：
  pip install scrapy