网络爬虫----scrapy框架爬虫

scrapy startproject ts #生成项目名称

cd ts

 scrapy genspider -t basic lesson hellobi.com  #创建爬虫lesson

###使用编辑环境为spider

1 编辑items.py

网络爬虫----scrapy框架爬虫_第1张图片

2 编写lesson.py

网络爬虫----scrapy框架爬虫_第2张图片

 

3 编写piplines.py

网络爬虫----scrapy框架爬虫_第3张图片

4  命令行下执行爬虫   scrapy crawl lesson --nolog

你可能感兴趣的:(网络爬虫----scrapy框架爬虫)