2020-02-24 爬虫框架scrapy学习&01简单使用

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的,也可以应用在获取API所返回的数据或者通用的网络爬虫。

创建项目

scrapy startproject [项目名]

运行爬虫

scrapy crawl [爬虫名]

你可能感兴趣的:(2020-02-24 爬虫框架scrapy学习&01简单使用)