R爬虫实践—抓取国自然基金信息【上篇】简单介绍了如何爬取2016-2019年某一关键词下的国自然信息，当需要一次获取多种关键词下的国自然信息时该怎么做？比如咱们需要获取lncRNA、miRNA、circRNA、肠道菌群、外泌体，细胞焦亡等多个关键词的国自然信息。
首先，分析各个关键词下的首页网址特征，如下所示。
#lncRNA:'http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#miRNA: 'http://fund.zsci.com.cn/Index/index/title/miRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#circRNA: "http://fund.zsci.com.cn/Index/index/title/circRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
#肠道菌群："http://fund.zsci.com.cn/Index/index/title/%E8%82%A0%E9%81%93%E8%8F%8C%E7%BE%A4/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
......
发现由关键词首页网址由以下几部分组成：
[http://fund.zsci.com.cn/Index/index/title/]
[关键词]
[/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html]
接着，分析每个关键词下的网址特征，以lncRNA为例，如下所示。
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/2.html
#.......
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/lastpage_number.html
发现关键词所有网址由以下几部分组成：
[http://fund.zsci.com.cn/Index/index/title/]+
[关键词]+
[/start_year/2016/end_year/2019/xmid/0/search/1/p/]+
[页码]+
[.html]
然后，根据以上分析出的网页规律，提前构建网页地址的各个部分。
s1 <- c("http://fund.zsci.com.cn/Index/index/title/")
s2 <- c("/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html")
part1 <- c("http://fund.zsci.com.cn/Index/index/title/")
part2 <- c("/start_year/2016/end_year/2019/xmid/0/search/1/p/")
keys <- c("lncRNA","miRNA","circRNA","单细胞","肠道菌群","外泌体","RNA甲基化","细胞焦亡")
正式开始爬取~~~利用两次循环，依次爬取各个关键词下的国自然信息。具体过程：先获取第一个关键词检索首页——获取末页的网址——获取最大页码——依次循环抓取1到最大页码的信息——结束后再进行第二个关键词（同样过程，循环往复）——直到最后一个关键词的最后一页——爬取结束。
results <- data.frame(Title="题目",Author="负责人",Department="申请单位",
Type="研究类型",Project="项目批准号",Date="批准年度",Money="金额")
j <- 1
i <- 1
for (j in 1:length(keys)) {
site <- paste0(s1,keys[j],s2)
web <- read_html(site,encoding = "utf-8")
lastpage_link <- web %>% html_nodes("div.layui-box a") %>% html_attr("href")
lastpage_link <- paste0("http://fund.zsci.com.cn/",lastpage_link[length(lastpage_link)])
lastpage_web <- read_html(lastpage_link,encoding = "utf-8")
lastpage_number <- lastpage_web %>% html_nodes("div.layui-box span.current") %>% html_text() %>% as.integer()
print(lastpage_number)
for(i in 1:lastpage_number){
keysite <- paste0(part1,keys[j],part2,i,".html")
web <- read_html(keysite,encoding = "utf-8")
#---获得基金标题---
Title <- web %>% html_nodes('ul a li h3') %>% html_text() # 标题内容解析
Title
#---获得众多信息---
Information <- web %>% html_nodes('ul a li span') %>% html_text() #获取了负责人和单位信息
Information
#---获取负责人信息---
Author <- Information[grep("负责人", Information)]
Author
#---获得申请单位---
Department <- Information[grep("申请单位", Information)]
Department
#---获取研究类型---
jijintype <- Information[grep("研究类型", Information)]
jijintype
#---获得项目号---
Project <- Information[grep("项目批准号", Information)]
Project
#---获取批准时间---
Date <- Information[grep("批准年度", Information)]
Date
#---获取基金金额---
Money <- Information[grep("金额", Information)]
Money
result <- data.frame(Title=Title,Author=Author,Department=Department,
Type=jijintype,Project=Project,Date=Date,Money=Money)
results <- data.frame(Title="题目",Author="负责人",Department="申请单位",
Type="研究类型",Project="项目批准号",Date="批准年度",Money="金额")
#合并所有页面数据成数据框
results <- rbind(results,result)
}
write.csv(results,file = paste0("2016-2019.",keys[j],".csv"))
}
最终爬取结果如下，每个关键词条件下生成一个文件。
image
往期回顾
R爬虫在工作中的一点妙用
R爬虫必备基础——HTML和CSS初识
R爬虫必备基础——静态网页+动态网页
R爬虫必备——rvest包的使用
R爬虫必备基础——CSS+SelectorGadget
R爬虫必备基础—Chrome开发者工具(F12)
R爬虫必备基础—HTTP协议
R爬虫必备—httr+POST请求类爬虫（网易云课堂）
R爬虫必备基础—rvest为什么不用于动态网页？
R爬虫必备——httr+GET请求类爬虫（解螺旋课程）
R爬虫实战—抓取PubMed文章的基本信息
R爬虫实践—抓取国自然基金信息【上篇】