scrapy命令行详解

1:创建scrapy项目

scrapy startproject XXXXXX

2:进入项目目录

cd XXXX

3:生成spider

scrapy genspider baidu www.baidu.com

4:列出创建spider所有可用模板

scrapy genspider -l

5:指定模板生成spider

scrapy genspider -t crawl zhihu www.zhihu.com

6:运行spider

scrapy crawl spider

7:检查语法是否有错误

scrapy check

8:返回所有spider的名称

scrapy list

9:测试爬取速度

scrapy bench

10:爬取结果输出到指定文件

scrapy crawl quotes -o quotes.csv

你可能感兴趣的:(scrapy命令行详解)