在R实现pm2.5地图数据展示文章中,使用rvest包实现了静态页面的数据抓取,然而rvest只能抓取静态网页,而诸如ajax异步加载的动态网页结构无能为力。在R语言中,爬取这类网页可以使用RSelenium包和Rwebdriver包。
RSelenium包和Rwebdriver包都是通过调用Selenium Server来模拟浏览器环境。其中,Selenium是一个用于网页测试的Java开源软件,它可以模拟浏览器的点击、滚动、滑动以及文字输入等操作。因为Selenium是Java程序,因此在使用RSelenium包和Rwebdriver包之前必须为计算机设置Java环境。以下是使用RSelenium包和Rwebdriver包的前期准备步骤:
一、RSelenium包和Rwebdriver包的下载安装
RSelenium包从CRAN直接下载安装,Rwebdriver包则需要从github上下载,下载过程参考install_github无法安装 Rwebdriver包的解决方法
二、Java环境的设置
理论上讲,调用Java程序安装JRE(Java Runtime Environment)即可,但本文推荐安装JDK(Java Development Kit),JDK中包含JRE模块,且网上找到的Java环境变量设置教程多针对JDK。
1、 JDK的下载
本文档中下载最新版的jdk-11.0.1_windows-x64_bin.zip
2、 JDK的安装
由于下载的是无需安装的版本,直接将文件解压出来,放到D:\Program Files\java目录下即可
3、环境变量的设置(可参考Java环境变量设置)
需设置JAVA_HOME,CLASS_PATH,PATH三个环境变量
JAVA_HOME
D:\Program Files\java\jdk-11.0.1
CLASSPATH
%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
PATH
%JAVA_HOME%\bin
三个环境变量设置好以后,打开cmd,输入javac,不报错即表示安装成功。
三、selenium以及浏览器驱动的下载和运行
1、下载selenium,网址为https://www.seleniumhq.org/download/
下载最新版本,也可以到http://selenium-release.storage.googleapis.com/index.html 下载之前的版本。
2、下载浏览器驱动
Chrome驱动:http://npm.taobao.org/mirrors/chromedriver
Firefox驱动:http://github.com/mozilla/geckodriver/releases
下载时要注意自己浏览器的版本,如果使用Chrome浏览器可参考selenium之chromedriver与chrome版本映射表(更新至v2.34)。
在本环境中下载的是最新时间的v2.44版本
3、打开cmd运行selenium和浏览器驱动,比如我使用的是Chrome浏览器,因此在cmd中输入java -Dwebdriver.chrome.driver="E:\Selenium\chromedriver.exe" -jar E:\Selenium\selenium-server-standalone-3.141.59.jar
如出现下图所示界面,则启动成功(在R语言调用RSelenium包和Rwebdriver包时,cmd不要关闭)。
四、至此所有前期准备就都已完成,可以使用RSelenium包和Rwebdriver包了。
以RSelenium包为例
library(RSelenium) remDr <- remoteDriver( browserName = "chrome", remoteServerAddr = "localhost", port = 4444 ) remDr$open() url <- 'https://www.google.com/' remDr$navigate(url)
可以看到“Chrome正受到自动测试软件的控制”字样。
此时再使用rvest包对网页进行抓取,抓到的就是经过浏览器渲染后的页面:
library(rvest) webpage <- read_html(remDr$getPageSource()[[1]][1])
参考链接:R语言爬取动态网页:使用RSelenium包和Rwebdriver包的前期准备