爬虫学习笔记-scrapy爬取当当网

1.终端运行scrapy startproject scrapy_dangdang,创建项目

2.接口查找

爬虫学习笔记-scrapy爬取当当网_第1张图片

3.cd 100个案例/Scrapy/scrapy_dangdang/scrapy_dangdang/spiders 到文件夹下,创建爬虫程序

4.items定义ScrapyDangdangItem的数据结构(要爬取的数据)src,name,price

爬虫学习笔记-scrapy爬取当当网_第2张图片5.爬取src,name,price数据

导入items的ScrapyDangdangItem

yield就是return一个返回值,将book对象给pipelines

爬虫学习笔记-scrapy爬取当当网_第3张图片

 6.开启管道爬虫学习笔记-scrapy爬取当当网_第4张图片

7.打开文件,写入字符串类型数据,关闭文件爬虫学习笔记-scrapy爬取当当网_第5张图片

8.定义管道类,settings开启管道类,实现图片的多管道下载

9.实现多页下载爬虫学习笔记-scrapy爬取当当网_第6张图片

你可能感兴趣的:(爬虫,学习,笔记)