2019-01-15Scrapy 项目应用步骤

  1. scrapy startproject <项目名> [项目目录]
    cd 到项目录上级, 再创建项目时,可以不填项目目录
    2.scrapy genspider <爬虫名> <域名>
    spidername 需要 唯一,域名 如www.baidu.com
    3.设置item
    item为获取的目标数据.
    4.settings

设置 启用 pipeline管道 中间层等...

5.scrapy crawl [-t crawler ] 爬虫虫 - o 文件名.类型.

启动爬虫

你可能感兴趣的:(2019-01-15Scrapy 项目应用步骤)