scrapy的简介与安装

scrapy 框架简介:他是由c++语言编写的底层代码的框架、在开始爬虫时我们可以创建我们的爬虫项目。在scrapy框架里面,我们可以使用selenium,requests,js网页分析,进行数据爬取,爬取完成后,我们可以直接调取管道模块,对我们的数据进行存储。

一:windows下安装

首先检测系统是否已安装,编辑代码:scrapy,显示如图一所示,证明已安装

图一

开始安装scrapy

    1.pip install scrapy

    2.pip install pypiwin32   

二:linux 下安装scrapy

pip install scrapy

三创建scrapy项目

1. scrapy startproject

2.scrapy genspider xx  xx.com


你可能感兴趣的:(scrapy的简介与安装)