《R数据科学》学习笔记|Note7:使用readr进行数据导入

往期 · 推荐
《R数据科学》学习笔记|Note1:绪论
《R数据科学》学习笔记|Note2:使用ggplot2进行数据可视化(上）
《R数据科学》学习笔记|Note3:使用ggplot2进行数据可视化(下）
《R数据科学》学习笔记|Note4:使用dplyr进行数据转换(上）
《R数据科学》学习笔记|Note5:使用dplyr进行数据转换(下）
《R数据科学》学习笔记|Note6:使用tibble实现简单数据框
零基础"机器学习"自学笔记|Note6:正规方程及其推导(内附详细推导过程)

使用readr进行数据导入

导入数据的方法有很多，相信大家也已经有了自己习惯的方法，所以本节的内容只是给大家提供一个选择。所谓技多不压身！本节较多理论性的东西，大家也可以酌情跳过！当然，如果觉得有帮助的话，不妨点个再看或者赞_{你的支持就是我更新的最大动力}

7.1 简介

本章将学习如何将纯文本格式的矩形文件读入 R。虽然本章内容只是数据导入的冰山一角，但其中的原则完全适用于其他类型的数据。本章末尾将提供 一些有用的 R 包，以处理其他类型的数据。

7.2 入门

readr 的多数函数用于将平面文件转换为数据框。

• read_csv() 读取逗号分隔文件、read_csv2() 读取分号分隔文件、read_tsv() 读取制表符分隔文件、read_delim() 可以读取使用任意分隔符的文件。

• read_fwf() 读取固定宽度的文件。既可以使用 fwf_widths() 函数按照宽度来设定域，也可以使用 fwf_positions() 函数按照位置来设定域。read_table() 读取固定宽度文件的一种常用变体，其中使用空白字符来分隔各列。

• read_log() 读取 Apache 风格的日志文件。（但需要检查是否安装了 webreadr 包，(https:// github.com/Ironholds/webreadr)，因为该包位于 read_log() 函数的开头，还可以提供很多有用的工具。)

read_csv() 函数的第一个参数是最重要的，该参数是要读取的文件的路径：

heights <- read_csv("data/heights.csv")`

还可以提供一个行内 CSV 文件。

read_csv("a,b,c
1,2,3
4,5,6")
> read_csv("a,b,c
+ 1,2,3
+ 4,5,6")
# A tibble: 2 x 3
      a     b     c
    
1     1     2     3
2     4     5     6

以上两种情况下，read_csv() 函数都使用数据的第一行作为列名称。

• 有时文件开头会有好几行元数据。你可以使用 skip = n 来跳过前 n 行；或者使用 comment = "#" 来丢弃所有以 # 开头的行：

read_csv("The first line of metadata
 The second line of metadata
 x,y,z
 1,2,3", skip = 2)
> read_csv("The first line of metadata
+  The second line of metadata
+  x,y,z
+  1,2,3", skip = 2)
# A tibble: 1 x 3
      x     y     z
    
1     1     2     3

read_csv("# A comment I want to skip
 x,y,z
 1,2,3", comment = "#")
> read_csv("# A comment I want to skip
+  x,y,z
+  1,2,3", comment = "#")
# A tibble: 1 x 3
      x     y     z
    
1     1     2     3

• 数据没有列名称。可以使用 col_names = FALSE 来通知 read_csv() 不要将第一行作为列标题，而是将各列依次标注为 X1 至 Xn：

read_csv("1,2,3\n4,5,6", col_names = FALSE) #\n 换行
> read_csv("1,2,3\n4,5,6", col_names = FALSE)
# A tibble: 2 x 3
     X1    X2    X3
    
1     1     2     3
2     4     5     6

或者你也可以向 col_names 传递一个字符向量，以用作列名称：

read_csv("1,2,3\n4,5,6", col_names = c("x", "y", "z"))
> read_csv("1,2,3\n4,5,6", col_names = c("x", "y", "z"))
# A tibble: 2 x 3
      x     y     z
    
1     1     2     3
2     4     5     6

另一个通常需要修改的选项是 na。它设定使用哪个值（或哪些值）来表示文件中的缺失值：

read_csv("a,b,c\n1,2,.", na = ".")
> read_csv("a,b,c\n1,2,.", na = ".")
# A tibble: 1 x 3
      a     b c    
    
1     1     2 NA 

7.2.1 与R基础包进行比较

readr 相较于R基础包中具有同样功能的函数，如read.csv()有以下优点

• 一般来说，比基础模块中的函数速度更快（约快10倍）。

• 可以生成 tibble，并且不会将字符向量转换为因子，不使用行名称，也不会随意改动列名称。

• 更易于重复使用。R 基础包中的函数会继承操作系统的功能，并依赖环境变量，因 此，可以在你的计算机上正常运行的代码在导入他人计算机时，不一定能正常运行。

7.3 解析向量

在详细介绍 readr 如何从磁盘读取文件前，我们需要先讨论一下 parse_*() 函数族。这些函数接受一个字符向量，并返回一个特定向量，如逻辑、整数或日期向量：

str(parse_logical(c("TRUE", "FALSE", "NA")))
> logi [1:3] TRUE FALSE NA
str(parse_integer(c("1", "2", "3")))
> int [1:3] 1 2 3
str(parse_date(c("2010-01-01", "1979-10-14")))
> Date[1:2], format: "2010-01-01" "1979-10-14"

和 tidyverse 中的所有函数一样，parse_*() 函数族的用法是一致的。第一个参数是需要解析的字符向量，na 参数设定了哪些字符串应该当作缺失值来处理：

parse_integer(c("1", "231", ".", "456"), na = ".")
> [1] 1 231 NA 456

如果解析失败，你会收到一条警告：

x <- parse_integer(c("123", "345", "abc", "123.45"))
> x <- parse_integer(c("123", "345", "abc", "123.45"))
Warning: 2 parsing failures.
row col               expected actual
  3  -- an integer             abc   
  4  -- no trailing characters 123.45
#解析失败的值在输出中是以缺失值的形式存在的
x
> x
[1] 123 345  NA  NA
attr(,"problems")
# A tibble: 2 x 4
    row   col expected               actual
                       
1     3    NA an integer             abc   
2     4    NA no trailing characters 123.45

在解析函数的使用方面，最重要的是要知道有哪些解析函数，以及每种解析函数用来处理 哪种类型的输入。具体来说，重要的解析函数有 8 种。

• parse_logical() 和 parse_integer() 函数分别解析逻辑值和整数。

• parse_double() 是严格的数值型解析函数，parse_number() 则是灵活的数值型解析函数。

• parse_character() 字符编码。

• parse_factor() 函数可以创建因子，R 使用这种数据结构来表示分类变量，该变量具有固定数目的已知值。

• parse_datetime()、parse_date() 和 parse_time() 函数可以解析不同类型的日期和时间。

7.3.1 数值

解析数值似乎是非常直截了当的，但以下 3 个问题增加了数值解析的复杂性。

• 世界各地的人们书写数值的方式不尽相同。例如，有些国家使用 . 来分隔实数中的整数和小数部分，而有些国家则使用 ,。

• 数值周围经常有表示某种意义的其他字符，如 $1000 或 10%。

• 数值经常包含“分组”，以便更易读，如 1 000 000，而且世界各地用来分组的字符也不 尽相同。

为了解决第一个问题，readr 使用了“地区”这一概念，这是可以按照不同地区设置解析选项的一个对象。在解析数值时，最重要的选项就是用来表示小数点的字符。通过创建一个新的地区对象并设定 decimal_mark 参数，可以覆盖 . 的默认值：

parse_double("1.23")
> [1] 1.23
parse_double("1,23", locale = locale(decimal_mark = ","))
> [1] 1.23

readr 的默认地区是 US-centric，因为 R 是以美国为中心的。

parse_number() 解决了第二个问题：它可以忽略数值前后的非数值型字符。这个函数特别适合处理货币和百分比，也可以提取嵌在文本中的数值：

parse_number("$100")
> [1] 100
parse_number("20%")
> [1] 20
parse_number("It cost $123.45")
> [1] 123

组合使用 parse_number() 和地区设置可以解决最后一个问题，因为 parse_number() 可以忽略“分组符号”：

# 适用于美国
parse_number("$123,456,789")
> [1] 1.23e+08
# 适用于多数欧洲国家
parse_number(
 "123.456.789",
 locale = locale(grouping_mark = ".")
)
> [1] 1.23e+08
# 适用于瑞士
parse_number(
 "123'456'789",
 locale = locale(grouping_mark = "'")
)
> [1] 1.23e+08

7.3.2 字符串

R 中，我们可以使用 charToRaw() 函数获得一个字符串的底层表示：

charToRaw("Hadley")
> [1] 48 61 64 6c 65 79

每个十六进制数表示信息的一个字节：48 是 H、61 是 a 等。从十六进制数到字符的这种映射称为编码，这个示例中的编码方式称为 ASCII。ASCII 可以非常好地表示英文字符，因为它就是美国信息交换标准代码（American Standard Code for Information Interchange）的缩写。

readr 全面支持 UTF-8：当读取数据时，它假设数据是 UTF-8 编码的，并总是使用 UTF-8 编码写入数据。但对于从不支持 UTF-8 的那些旧系统中产生的数据,你的字符串打印出来就是一堆乱码。例如：

x1 <- "El Ni\xf1o was particularly bad this year"
x2 <- "\x82\xb1\x82\xf1\x82\xc9\x82\xbf\x82\xcd"

要想解决这个问题，需要在 parse_character() 函数中设定编码方式：

parse_character(x1, locale = locale(encoding = "Latin1"))
> [1] "El Niño was particularly bad this year"
parse_character(x2, locale = locale(encoding = "Shift-JIS"))
> [1] "こんにちは"

readr 提供了 guess_encoding() 函数来帮助你找出编码方式

guess_encoding(charToRaw(x1))
> encoding confidence
> 1 ISO-8859-1 0.46
> 2 ISO-8859-9 0.23
guess_encoding(charToRaw(x2))
> encoding confidence
> 1 KOI8-R 0.42

guess_encoding() 的第一个参数可以是一个文件路径，也可以是一个原始向量（适用于字符串已经在R中的情况）。

7.3.3 因子

R 使用因子表示取值范围是已知集合的分类变量。如果 parse_factor() 函数的 levels 参数被赋予一个已知向量，那么只要存在向量中没有的值，就会生成一条警告：

fruit <- c("apple", "banana")
parse_factor(c("apple", "banana", "bananana"), levels = fruit)
> fruit <- c("apple", "banana")
> parse_factor(c("apple", "banana", "bananana"), levels = fruit)
Warning: 1 parsing failure.
row col           expected   actual
  3  -- value in level set bananana

[1] apple  banana   
attr(,"problems")
# A tibble: 1 x 4
    row   col expected           actual  
                     
1     3    NA value in level set bananana
Levels: apple banana

7.4 解析文件

现在你已经学会了如何解析单个向量，接下来我们就回到本章的最初目标，研究 readr 是如何解析文件的。你将在本节中学到以下两种新技能。

• readr 如何自动猜出文件每列的数据类型。

• 如何修改默认设置。

7.4.1 策略

readr 使用一种启发式过程来确定每列的类型：先读取文件的前 1000 行，然后使用（相对保守的）某种启发式算法确定每列的类型。可以使用字符向量模拟这个过程，先使用 guess_ parser() 函数返回 readr 最可信的猜测，接着 parse_guess() 函数使用这个猜测来解析列：

guess_parser("2010-10-01")
> [1] "date"
guess_parser("15:01")
> [1] "time"
guess_parser(c("TRUE", "FALSE"))
> [1] "logical"
guess_parser(c("1", "5", "9"))
> [1] "integer"
guess_parser(c("12,352,561"))
> [1] "number"
str(parse_guess("2010-10-10"))
> Date[1:1], format: "2010-10-10"

7.4.2 问题

这个部分内容都是原理，对实际使用没有太大影响，我这里就跳过了。

7.5 写入文件

readr 还提供了两个非常有用的函数，用于将数据写回到磁盘：write_csv() 和 write_ tsv()。这两个函数输出的文件能够顺利读取的概率更高，因为：

• 它们总是使用 UTF-8 对字符串进行编码；

• 它们使用 ISO 8601 格式来保存日期和日期时间数据，以便这些数据不论在何种环境下 都更容易解析。 如果想要将 CSV 文件导为 Excel 文件，可以使用 write_excel_csv() 函数，该函数会在文件开头写入一个特殊字符（字节顺序标记），告诉 Excel 这个文件使用的是 UTF-8 编码。 这几个函数中最重要的参数是 x（要保存的数据框）和 path（保存文件的位置）。还可以使 用 na 参数设定如何写入缺失值，如果想要追加到现有的文件，需要设置 append 参数：

write_csv(challenge, "challenge.csv")

注意，当保存为 CSV 文件时，类型信息就丢失了。

这使得 CSV 文件在暂存临时结果时有些不可靠——每次加载时都要重建列类型。以下是两种替代方式。

• write_rds() 和 read_rds() 函数是对基础函数 readRDS() 和 saveRDS() 的统一包装。前者可以将数据保存为 R 自定义的二进制格式，称为 RDS 格式：

write_rds(challenge, "challenge.rds")
read_rds("challenge.rds")
> write_rds(challenge, "challenge.rds")
> read_rds("challenge.rds")
# A tibble: 2,000 x 2
       x y    
    
 1   404 NA   
 2  4172 NA   
 3  3004 NA   
 4   787 NA   
 5    37 NA   
 6  2332 NA   
 7  2489 NA   
 8  1449 NA   
 9  3665 NA   
10  3863 NA   
# ... with 1,990 more rows

• feather包实现了一种快速二进制格式，可以在多个编程语言间共享：

install.packages("feather")
library(feather)
write_feather(challenge, "challenge.feather")
read_feather("challenge.feather")
> read_feather("challenge.feather")
# A tibble: 2,000 x 2
       x y    
    
 1   404 NA   
 2  4172 NA   
 3  3004 NA   
 4   787 NA   
 5    37 NA   
 6  2332 NA   
 7  2489 NA   
 8  1449 NA   
 9  3665 NA   
10  3863 NA   
# ... with 1,990 more rows

feather 要比 RDS 速度更快，而且可以在 R 之外使用。RDS 支持列表列,feather 目前还不行。

8.6 其他类型的数据

要想将其他类型的数据导入 R 中，可以从下列的 tidyverse 包开始。

对矩形数据来说：

• haven 可以读取 SPSS、Stata 和 SAS 文件；

• readxl 可以读取 Excel 文件（.xls 和 .xlsx 均可）；

• 配合专用的数据库后端程序（如 RMySQL、RSQLite、RPostgreSQL 等），DBI 可以对相 应数据库进行 SQL 查询，并返回一个数据框。

对于层次数据，可以使用 jsonlite读取 JSON 串，使用 xml2 读取 XML 文件。对于其他的文件类型，可以学习一下 R 数据导入 / 导出手册（[https://cran.r-project.org/doc/ manuals/r-release/R-data.html](https://cran.r-project.org/doc/ manuals/r-release/R-data.html)）。