豆瓣读书主页如下:
选取其中的编程类进行数据获取,原理都类似,一步一步获取,然后回调处理
我怕们准备对其中的主要图书样本进行简单获取,选取书名、作者、评分和图片进行获取
items.py
book_name = scrapy.Field()
author = scrapy.Field()
star = scrapy.Field()
image_urls = scrapy.Field()
images = scrapy.Field()
image_paths = scrapy.Field()
douban_spider.py
因为起始url是https://book.douban.com/tag/编程就是当前页,所以无需再进行url获取进行回调之类的,这里对于ur的处理就只有翻页上面url的变化,用xpath对下一页的url进行获取,形成一个列表,如果存在下一页,即转发给它对应的url,回调给处理函数进行数据处理,这里因为url结构简单明了,所以类似这样的连接也可以手动进行url拼接
class DoubanSpiderSpider(scrapy.Spider):
name = 'douban_spider'
allowed_domains = ['book.douban.com']
start_urls = ['https://book.douban.com/tag/编程']
#def start_requests(self):
# return scrapy.Request(self.start_urls[0],callback=self.parse)
def parse(self, response):
book_list = response.xpath("//div[@class='article']/div[@id='subject_list']/ul/li")
for i_item in book_list:
douban_item = DoubanItem()
book_name = i_item.xpath("normalize-space(.//div[@class='info']/h2/a/text())").extract_first()
douban_item['book_name'] = "".join(book_name)
author = i_item.xpath(".//div[@class='pub']/text()").extract_first()
# douban_item['author'] = i_item.xpath(".//div[@class='pub']/text()").extract_first()
douban_item['author'] = "".join(author).replace('\n','').split('/')[1]
douban_item['star'] = i_item.xpath(".//span[@class='rating_nums']/text()").extract_first()
douban_item['image_urls'] = i_item.xpath(".//div[@class='pic']/a/img/@src").extract()
yield douban_item
next_link = response.xpath("//span[@class='next']/link/@href").extract()
print(next_link)
if next_link:
next_link = next_link[0]
yield scrapy.Request("https://book.douban.com"+next_link, callback=self.parse)
图片获取
因为对于图片获取又区别于其他数据,scrapy文档对于图片处理进行了详细定义,照搬更改相应板块即可
以下为官方解释说明:
Scrapy提供了一个 item pipeline ,来下载属于某个特定项目的图片,比如,当你抓取产品时,也想把它们的图片下载到本地。
这条管道,被称作图片管道,在ImagesPipeline
类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:
- 将所有下载的图片转换成通用的格式(JPG)和模式(RGB)
- 避免重新下载最近已经下载过的图片
- 缩略图生成
- 检测图像的宽/高,确保它们满足最小限制
这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片。
Pillow 是用来生成缩略图,并将图片归一化为JPEG/RGB格式,因此为了使用图片管道,你需要安装这个库。 Python Imaging Library (PIL) 在大多数情况下是有效的,但众所周知,在一些设置里会出现问题,因此我们推荐使用 Pillow 而不是PIL.
使用图片管道
当使用
ImagesPipeline
,典型的工作流程如下所示:
- 在一个爬虫里,你抓取一个项目,把其中图片的URL放入
image_urls
组内。 - 项目从爬虫内返回,进入项目管道。
- 当项目进入
ImagesPipeline
,image_urls
组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成图片的下载(或者由于某些原因未完成下载)。 - 当图片下载完,另一个组(
images
)将被更新到结构中。这个组将包含一个字典列表,其中包括下载图片的信息,比如下载路径、源抓取地址(从image_urls
组获得)和图片的校验码。images
列表中的图片顺序将和源image_urls
组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在images
组中。
示例
import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
class MyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
item['image_paths'] = image_paths
return item
这里将数据库对数据的存取和对图片的下载在一块处理,在设置中要注意优先级,得先获取图片。
pipelines.py
class MyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
item['image_paths'] = image_paths
# try:
# conn = pymysql.connect(host="localhost", user="root", password="299521", port=3306, db='douban')
# cur = conn.cursor()
# sql = "insert into book_home(image_path) values (%s)"
# i = item['image_paths']
# values = (i)
# cur.execute(sql, values)
# print(sql)
# except Exception:
# print("Erro")
# finally:
# conn.commit()
# return item
conn = pymysql.connect(host="localhost", user="root", password="299521", port=3306, db='douban')
cur = conn.cursor()
sql = "insert into book_home(book_name, author, star, image_path) values (%s, %s, %s, %s)"
book_name = item['book_name']
author = item['author']
star = item['star']
image_path = item['image_paths']
values = (book_name, author, star, image_path)
cur.execute(sql, values)
# except Exception:
# print("Error")
# finally:
conn.commit()
return item
# class DoubanPipeline(object):
# def process_item(self, item, spider):
# conn = pymysql.connect(host="localhost", user="root", password="299521", port=3306, db='douban2')
# cur = conn.cursor()
# sql = "insert into book(book_name, author, star) values (%s, %s, %s)"
# author = item['author']
# book_name =item['book_name']
# star = item['star']
# # author = item['author'].extract()
# # talk = item['talk'].extract()
# # score = item['score'].extract()
# # values = (bname, score, author, talk )
# values = (book_name, author, star)
# cur.execute(sql, values)
# conn.commit()
# return item
这里对于编程类图书的主页面进行了简单获取,下一篇会对详情页进行补充说明
- 其他爬虫代码可参考github