R 爬虫-Rvest

Rvest用R轻松抓网页数据

课程背景:本课程需要一点R语言基础,以及了解一点CSS选择器的知识,不过没有相关的知识同样也不需要担心,所有的背景知识都很简单

学完之后能够做什么:通过本课程知识的讲解,加上案例的分析,同学可以学会使用R语言快速的爬取网络上的数据

目录

  • 什么是网络爬虫

  • 为什么要爬取数据

  • 准备工作

  • 如何使用Rvest爬取网页

  • Rvest简介

  • Rvest API 介绍

  • Rvest API 详解

  • 补充知识

  • 完整案例

什么是网络爬虫

网络爬虫是将呈现在网页上以非结构格式(html)存储的数据转化为结构化数据的技术

非结构化的数据通过查看网页的源代码就可以看到:

image.png

结构化的数据通常就是,由行和列组成的数据,行代表观测,列代表特征或变量:

image.jpeg

结构化数据

准备工作

下载相关的包

install.packages("rvest")

install.packages("tidyverse")

library(rvest)

library(tidyverse)

安装 Google Chrome 浏览器
要爬取网页上的数据,首先要知道的是,网页上的数据处于网页中的什么位置。那么如何去描述网页上的位置,可以通过 Xpath 和 selector

举一个例子:


image.png

CSS选择器 这个标题,在网页中的位置描述就是:

selector: #main > h2 > font > font
Xpath: //*[@id="main"]/h2/font/font

这个位置描述本质上可以通过观察网页的结构得出来,但是使用Google Chrome能够快速的获取数据的位置

Rvest 简介

rvest是R用户使用率最多的爬虫包,它简洁的语法可以解决大部分的爬虫问题。

基本使用方法:

  • 使用read_html读取网页;
  • 通过CSS或Xpath获取所需要的节点并使用html_nodes读取节点内容;
  • 结合stringr包对数据进行清理。

Rvest API介绍

读取与提取:

  • read_html() 读取html文档的函数
  • html_nodes() 选择提取文档中指定元素的部分
  • html_name() 提取标签名称;
  • html_text() 提取标签内的文本;
  • html_attr() 提取指定属性的内容;
  • html_attrs() 提取所有的属性名称及其内容;
  • html_table() 解析网页数据表的数据到R的数据框中;
  • html_form() 提取表单。

乱码处理:

  • guess_encoding() 用来探测文档的编码,方便我们在读入html文档时设置正确的编码格式

  • repair_encoding() 用来修复html文档读入后的乱码问题
    行为模拟:

  • set_values() 修改表单

  • submit_form() 提交表单

  • html_session() 模拟HTML浏览器会话

  • jump_to() 得到相对或绝对链接

  • follow_link() 通过表达式找到当前页面下的链接

  • session_history() 历史记录导航工具

Rvest API 详解

  1. read_html 参数:
    x 可以是url,本地路径,包含html的字符串,或者来自httr的请求如果x是URL参数就传递给GET()
    encoding 文档的编码形式,查看iconvlist()有完整列表,他如果不能正确确定encoding方式可以尝试stri_enc_detect 使用这个函数来获取html数据
require(rvest)

HTML <- read_html(x = "https://hz.fang.anjuke.com/?from=navigation")
HTML
## {xml_document}
## 
## [1] \n\n        
\n ...

以上就获取了猎聘网的html网页数据

  1. html_nodes 与html_node 参数:
    x 一个xml_document数据
    css, xpath 要收集的节点。传入XPath和selector,也可以使用浏览器Google Chrome辅助
image.png

网页

比如我们想获取楼盘名称,“东原旭辉璞阅”这个位置的数据,利用html_node

NAME <- HTML %>% html_nodes("#container > div.list-contents > div.list-results > div.key-list.imglazyload > div:nth-child(1) > div > a.lp-name > h3 > span") 
NAME
## {xml_nodeset (1)}
## [1] 绿都鉴未来

这样我们就获得了对应位置的节点,想要得到对应节点的数据,使用html_text函数

NAME %>% html_text()
## [1] "绿都鉴未来"

到这里,就可以使用Rvest爬取简单的数据了

补充知识

包外API

  1. head() 检查数据

  2. as.numeric() 转化为数值型

  3. gsub() 移除" “,”“,”“等

  4. as.factor() 转化为因子

  5. data.frame() 合并为数据框

  6. trycatch() 错误处理

  7. write.csv() 输出csv文件

  8. file.download() 下载网络文件

  9. read.table() 读取本地文件
    10.save() 保存变量到本地

  10. sapply() 向量化调用函数
    12.iconv() 转化编码格式
    13.rbind() 合并行
    14.paste() 连接字符串,多用来生成有规律的链接地址
    相关的 package

  11. stringr 字符串处理

  12. RSelenium 模拟网页操作,可抓取动态页面
    17.ggplot2 数据可视化
    18.magrittr 辅助rvest
    使用技巧

获取特定序位的html标签,用到了magrittr包里的extract2函数。下面两行代码都可以获得该网页中第一个

标签

ateam %>% html_nodes("table") %>% extract2(1) %>% html_nodes("img")
ateam %>% html_nodes("table") %>%[[(1) %>% html_nodes("img")

%>%是管道操作符,意思是把左边的操作结果作为参数传递给右边的命令
需要换页的同类型页面的地址一般会有规律,找到规律后就可生成一系列地址
定位所需内容时,有时html_nodes+stringr更方便,不使用html_text
若爬取内容过多,可使用边爬边存或者分批处理等

案例1 – 爬取BOSS直聘请杭州,数据分析职位的数据

网址:https://www.zhipin.com/job_detail/?query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&scity=101210100&industry=&position=

网页:


image.png

BOSS

主要爬取四个字段:

  1. 职位名称
  2. 公司名称
  3. 薪资范围
  4. 地址,年限等信息

爬取此网页的信息

网页网址

url <- "https://www.zhipin.com/job_detail/?query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&scity=101210100&industry=&position="
# 获取网址
HTML <- read_html(url)

HTML
## {xml_document}
## 
## [1] \n\n    \n    \n\n\n\n\n\n\n
                    
                    

你可能感兴趣的:(R 爬虫-Rvest)