Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”

本文参考学习
博主崔庆才的系列教程
Scrapy教程
上一篇文章当中我们获得了电影的名字，来想想平时我们下电影是怎么下的？

那还不是轻车熟路吗？？扔到BT搜索引擎里面查磁力链接再去离线下载啊！这一部分的文章将介绍如何获取磁力链接。

简介

我们在Spiders得到了“货物”的信息——电影名字，Spiders需要充当一个“打包员”的角色，将“包裹”Items投递给“快递员”Item Pipeline，由他进行运输。

Scrapy框架示意图

在这一部分将把电影名字和获取到的磁力链接打包成“包裹”，发送给“快递员”，由他运输处理。最后效果如图所示：

BT搜索引擎选择一个能方便获取到磁力链接的BT蚂蚁。

打包员

我们同样用上一篇文章提到的用Xpath的方法获取链接，这里方便起见就只获取第一个链接。（后续是要放在百度网盘里面下载，可能会出现屏蔽等错误，所以实际上可能需要多个磁力链接备用）

def parse_item(self,response):
    name=response.xpath('//*[@class="title"][1]/text()').extract()
    for mvname in name:
        yield (Request('http://www.btanh.com/search/'+mvname+'-first-asc-1',callback=self.parse_mv,dont_filter=True,meta={'name':mvname}))

最后一句意思是发出对这个网址的请求，并交给parse_mv这个函数来处理。还记得上一篇文章的allow吗？这个网址并不符合allow的规则，所以我们填上don’t_filter让他不要把这个网址给过滤掉。Meta可以用来把参数传递给parse_mv函数。
下面开始获取磁力链接地址：

Xpath查询

F12一阳指大法

磁力链接地址

这里要的是href属性值，所以Xpath要跟着改啦。经过测试是
//*[@class="download"]/attribute::href

（还记得语法吗？快去查呀！）

这次我们要的“货物“信息包括电影名和磁力链接，所以items.py增添为

class DbItem(scrapy.Item):
    name = scrapy.Field()
    magurl=scrapy.Field()

继续回到spider.py

def parse_mv(self,response):
    mvitem=DbItem()
    magneturl=response.xpath('//*[@class="download"]
        /attribute::href').extract_first()
    #mvitem就是一个装”货物”的箱子了，
       #下面两句把”货物“给填进去
    mvitem['name']=response.meta['name']
    mvitem['magurl']=magneturl
    # print(response.meta['name']+' '+magneturl)
    #打包员的任务完成了，把“货物”包裹return，
       #投递出去
    return (mvitem)

回到最开始的图，Items投递到哪里去呢？
快递员Pipelines，由他来进行处理。

总结

这一部分文章很浅地介绍了Scrapy大致的结构，spider打包Item给Pipeline进行处理；Request的callback,don’t_filter,meta等参数；Xpath需要熟练使用。
下一篇文章当中，我们将介绍如何处理“货物”——把它离线下载到百度网盘中。

本项目代码：
github_douban
过往文章：
网易云音乐评论抓取实验(1)接口获取
Python自动生成过往文章链接Markdown格式文本
Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载
Python实现电影排行榜自动网盘下载(3)Selenium离线下载
Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”
Python实现电影排行榜自动网盘下载(1)Scrapy爬虫框架