R爬虫实践—抓取壁纸用作公共号首图

出发点：近期在写微信公共号，完成内容撰写后，总是要设置下公共号首图。其实有很多第三方插件可以用来编辑选择想要的首图，但同质化太高了，没什么特点。个人对首图的要求也不高，不需要特别带有宣传、突出等特点，只要看着舒服即可，且本身偏爱自然类、古风漫画类，所以想着爬取下这类风格的图片用作公共号首图，避免每次都要头疼首图的问题。

通过网络检索出很多壁纸网站，这里我选择的是51贴图网，打开https://www.51tietu.net/，点击壁纸，然后，选择其中的风景壁纸作为爬取案例，具体网址为http://www.51tietu.net/pcfjbizhi/。

image

确定网络请求类型

在开始爬取之前，通过浏览器开发后台查看该网页的请求类型和参数，发现这个是GET类请求，响应返回text/html格式内容，咱们需要爬取的图片就包含其中。

image

确定爬取策略

根据爬取目的，获取图片地址下载到本地即可。图片地址的爬取有两个途径，一是缩略图，二是详情页内的图。由于只用作公共号首图，对图片的小大像素要求不高，为省事直接爬取缩略图即可！此外，该网页是GET网络请求，也没有设置过多限制。可以用rvest包直接爬取，也可以保险点rvest+httr联合爬取。

image.png

分析网址规律

第1页：http://www.51tietu.net/pcfjbizhi/
第2页: http://www.51tietu.net/pcfjbizhi/1
第3页: http://www.51tietu.net/pcfjbizhi/2
......
第n页：http://www.51tietu.net/pcfjbizhi/n-1

第一步：爬取第一页

rm(list = ls())
# 加载相应的包
library(rvest)
library(downloader)
library(stringr) #处理字符
library(dplyr) #处理数据
url1 <- c("http://www.51tietu.net/pcfjbizhi/")
web <- read_html(url1,encoding="utf-8") 
#获取素材题目
title <- web %>% html_nodes('div.sub-left li.title h2') %>% html_text()
title
# [1] "湖面美丽的景色收集珍藏电" "冬季白雪装饰的美景桌面壁" "泰国美丽的景色汇集电脑壁" "大自然美丽的黄昏日出景象" "绿色小清新保护视力桌面壁"
# [6] "大自然奇特绚丽的风景桌面" "蓝色经典天空桌面壁纸"     "绿叶水滴唯美时刻电脑壁纸" "白雪渲染出美丽自然景象桌" "山川树木自然美丽的景色桌"
# [11] "美丽的浪漫晚景温馨电脑壁" "Windows 7官方风"          "英国巨石阵文化遗址桌面壁" "树木花草小清新星空桌面壁" "秋天的景色电脑桌面壁纸"
# [16] "大自然中优雅的风景桌面壁" "蓝天白雪优雅的冬季景色桌" "精美的景色桌面壁纸之合集"

#获取素材缩略图地址
jpg.links <-web %>% html_nodes('div.sub-left div.box-img a img') %>% html_attr("src")
jpg.links <- jpg.links[seq(1,length(jpg.links),4)]
jpg.links
# [1] "https://img9.51tietu.net/pic/2019-090804/24xknxz2ib324xknxz2ib3280x180.jpg"
# [2] "https://img9.51tietu.net/pic/2019-090804/sgm5lqdehszsgm5lqdehsz280x180.jpg"
# [3] "https://img9.51tietu.net/pic/2019-090804/4iak2v4uflf4iak2v4uflf280x180.jpg"
# [4] "https://img9.51tietu.net/pic/2019-090804/dvtalatpgb1dvtalatpgb1280x180.jpg"
# [5] "https://img9.51tietu.net/pic/2019-090804/qsdehcyomkhqsdehcyomkh280x180.jpg"
# [6] "https://img9.51tietu.net/pic/2019-090804/0sdgzrs2z3m0sdgzrs2z3m280x180.jpg"
# [7] "https://img9.51tietu.net/pic/2019-090804/sutkmqfopkvsutkmqfopkv280x180.jpg"
# [8] "https://img9.51tietu.net/pic/2019-090804/gxi3j23movxgxi3j23movx280x180.jpg"
# [9] "https://img9.51tietu.net/pic/2019-090804/omllxbe2jzqomllxbe2jzq280x180.jpg"
# [10] "https://img9.51tietu.net/pic/2019-090804/pasb3ym5tmxpasb3ym5tmx280x180.jpg"
# [11] "https://img9.51tietu.net/pic/2019-090804/2l0j5xvefcv2l0j5xvefcv280x180.jpg"
# [12] "https://img9.51tietu.net/pic/2019-090804/qenjxk4lemyqenjxk4lemy280x180.jpg"
# [13] "https://img9.51tietu.net/pic/2019-090804/ffor4cowajoffor4cowajo280x180.jpg"
# [14] "https://img9.51tietu.net/pic/2019-090804/oebbegspgtnoebbegspgtn280x180.jpg"
# [15] "https://img9.51tietu.net/pic/2019-090804/gbcbg3cvkmtgbcbg3cvkmt280x180.jpg"
# [16] "https://img9.51tietu.net/pic/2019-090804/uylabe1vbb3uylabe1vbb3280x180.jpg"
# [17] "https://img9.51tietu.net/pic/2019-090804/dvxobnpodrldvxobnpodrl280x180.jpg"
# [18] "https://img9.51tietu.net/pic/2019-090804/hmgcbxqcdtchmgcbxqcdtc280x180.jpg"

#下载缩略图到本地
for (i in 1:length(jpg.links)){
  download.file(jpg.links[i],paste0("公共号首图/",title[i],".jpg"),mode = "wb")}

这里需要注意一个问题，单纯从网页上来看，是无法看到具体有多少页。同时，网页上页没有设置最后一页的跳转键，因此也不能通过它得到最大页码。这里可以采用一种讨巧的方式，根据网址规律，设置一个较大页面进行检验，直接在浏览器中输入http://www.51tietu.net/pcfjbizhi/10000，得到如下展示，由此可知道最大页面为786。

image.png

#这里抓取的是前50页,不需要全部抓取,需求没那么大。
i=1
j=1
for(j in 1:50){
  url <- paste0("http://www.51tietu.net/pcfjbizhi/",j)
  web <- read_html(url,encoding="utf-8") 
#获取素材题目
  title <- web %>% html_nodes('div.sub-left li.title h2') %>% html_text()
#获取素材缩略图地址
  jpg.links <-web %>% html_nodes('div.sub-left div.box-img a img') %>% html_attr("src")
  jpg.links <- jpg.links[seq(1,length(jpg.links),4)]
for (i in 1:length(jpg.links)){
    fit<-try(download.file(jpg.links[i],paste0("公共号首图/",title[i],".jpg"),mode = "w"))
if('try-error' %in% class(fit)){
      cat(print(paste0("第",j,"页","第",i,"个图片下载失败")))
    }else{
    download.file(jpg.links[i],paste0("公共号首图/",title[i],".jpg"),mode = "wb")}
  }
}

最终抓取结果如下，这些图够公共号用很久了~~~

image

同样的方法，可以抓取不同主题相关的缩略图，比如本人还非常偏爱宫崎骏动画，同样的思路抓取结果如下：

image

往期回顾
R爬虫在工作中的一点妙用
R爬虫必备基础——HTML和CSS初识
R爬虫必备基础——静态网页+动态网页
R爬虫必备——rvest包的使用
R爬虫必备基础——CSS+SelectorGadget
R爬虫必备基础—Chrome开发者工具(F12)
R爬虫必备基础—HTTP协议