第五章 爬虫进阶（八） 2020-01-25

八、 实战-高速下载全套王者荣耀高清壁纸（1）

多线程下载王者荣耀高清壁纸

1、网址：http://pvp.qq.com/web201605/wallpaper.shtml

2、真正获取壁纸地址：http://app.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityld=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17109525680486664783_1554453019020&iAMSActivityld=51991&_everyRead=true&iTypeld=2&iFlowld=267733&iActld=2735&iModuleld=2735&_=1554453019266

3、其中的page，代表的是第几页。

4、用多线程，生产者和消费者模式，以及多线程安全的队列Queue来实现。

示例代码

from urllib import parse

 

result=parse.unquote("http%3A%2F%2Fshp.qpic.cn%2Fishow%2F273503613%2F1551850677_587358052_18185_sProdImgNo_8.jpg%2F200")

 

# http://shp.qpic.cn/ishow/273503613/1551850682_-695593207_28893_sProdImgNo_8.hpg/0  网页源代码

# http://shp.qpic.cn/ishow/273503613/1551850677_587358052_18185_sProdImgNo_8.jpg/200  解析得的代码

print(result)

 

# 通过http://app.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityld=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17109525680486664783_1554453019020&iAMSActivityld=51991&_everyRead=true&iTypeld=2&iFlowld=267733&iActld=2735&iModuleld=2735&_=1554453019266

# 1、可以获取到高清壁纸的url

# 2、获取到高清壁纸的url后，通过parse.unquote可以进行解码，然后将解码后的200变成0，就可以得到真实的高清壁纸的图片了。

# 3、获取图片的url的地址中有个page参数，通过修改page的值，可以进行翻页。默认page是从0开始的。

# 4、page最多只有18页，因此区间是[0,17]。

上一篇文章 第五章 爬虫进阶（七） 2020-01-24 地址：

https://www.jianshu.com/p/c6a6eaf97547

下一篇文章 第五章 爬虫进阶（九） 2020-01-26 地址：

https://www.jianshu.com/p/cbb8f839401b

以上资料内容来源网络，仅供学习交流，侵删请私信我，谢谢。