R爬虫——批量获取网页有用信息

爬虫就是批量自动将网页的内容抓取下来，可分为从静态网页数据抓取和从动态网页数据抓取。在静态rvest是R用户使用率最多的静态网页数据抓取利器，它简洁的语法，可以解决大部分的爬虫问题。今天以pubmed和链家网为例，用rvest轻松爬两个网站的有用信息，有兴趣的读者不妨尝试一下。

一个完整的爬虫过程可以简要地概括为“抓”“析”“存”三个阶段，大意是（1）通过程序语言将目标网页抓取下载下来，（2）应用相关函数对URL进行解析并提取目标数据，（3）最后将数据存入本地数据库.。

在开始之前，首先介绍一下主要的函数与功能：
read_html()：读取 html 页面
html_nodes()：提取所有符合条件的节点
html_node()：返回一个变量长度相等的list，相当于对html_nodes()取[[1]]操作
html_table()：获取 table 标签中的表格,默认参数trim=T,设置header=T可以包含表头，返回数据框
html_text()：提取标签包含的文本,令参数trim=T,可以去除首尾的空格
html_attrs(nodes)：提取指定节点所有属性及其对应的属性值，返回list
html_attr(nodes,attr)：提取节点某个属性的属性值
html_children()：提取某个节点的子节点
html_session()：创建会话

今天我们主要用到的函数是：read_html()，html_nodes()，html_text()。

1.例子1：爬取pubmed上感兴趣文章的题目，作者，和发表杂志、发表年月等信息

以health为搜索词搜索相关文章，得到6246895篇文章，总共624690页。页数太多，本例以挖掘第2页到第10页给大家展示代码。

#加载包
library("rvest")
library("dplyr")
library("stringr")
#读取网页数据并抓取
study_inf <- data.frame()
for (i in 2:10){
  x = read_html(paste("https://pubmed.ncbi.nlm.nih.gov/?term=health","&page=",i,sep=""),
                encoding="ISO-8859-1")
#提取文献题目
title <- x%>%html_nodes(".docsum-title")%>%html_text(trim=T)#trim=T  去掉多余信息
#提取作者信息
authors <- x%>%html_nodes(".full-authors")%>%html_text()
#提取发表杂志等信息
INFO <- x%>%html_nodes(".full-journal-citation")%>%html_text()
#提取PMID
PMID<- x%>%html_nodes(".docsum-pmid")%>%html_text()
study<-data.frame(title,authors,INFO,PMID)
study_inf <- rbind(study_inf,study)
}
#保存所读取的数据
write.csv(study_inf, file="E:/study_inf.csv")

抓取效果如下表所示：

2.例子2：爬取链家官网上广州白云区房子相关信息

搜到87条信息，共9页

house_inf <- data.frame()
#利用for循环封装爬虫代码，进行批量抓取：
for (i in 1:9){
  web <- read_html(paste("https://gz.fang.lianjia.com/loupan/baiyun/pg",i,"/",sep=""),
                   encoding="UTF-8")
  #提取房名信息：
  house_name <- web%>%html_nodes(".name")%>%html_text()
  #提取房子地址信息
  house_address <- web%>%html_nodes(".resblock-location")%>%html_text(trim=T)%>%
      str_replace_all(" ","")#str_replace_all消除空格，
  house_address<-gsub("\n/\n"," ",house_address)#去掉\n/\n
  #提取房子单价信息
  house_unitprice <- web%>%html_nodes(".number")%>%html_text()
  
  #创建数据框存储以上信息
  House<-data.frame(house_name,house_address,house_unitprice)
  house_inf <- rbind(house_inf,House)
  }

#将数据写入csv文档
write.csv(house_inf, file="E:/house_inf.csv")

抓取效果如下表所示：