scrapy命令行

• 创建项目

  scrapy startproject myproject [project_dir]
  

• 生成爬虫任务

  scrapy genspider mydomain mydomain.com
  

• 查看可以生成的模板

  scrapy genspider -l
  

• 执行爬虫任务

  scrapy crawl 
  

• 检查代码是否出错

  scrapy check [-l] 
  

• 查看项目中所有爬虫任务

  scrapy list
  

• 快速抓取网页源代码

  scrapy fetch [--nolog] [--headers] 
  

• 保存网页源代码为一个文件，并在浏览器中打开该文件（静态文件）

  scrapy view 
  

• 交互模式

  scrapy shell 
  

• 获取项目配置情况

  scrapy settings [options]
  

• 通过文件名称运行爬虫

  scrapy runspider