Rdata001 数据处理包tidyverse

1.数据处理

image.png

1.1 数据导入

将数据导入R。这实际上就是读取保存在文件、数据库或Web API 中的数
据，再加载到R 的数据框中。

1.2 数据整理

导入数据后，就应该对数据进行整理。数据整理就是将数据保存为一致的形式，以满足其所在数据集在语义上的要求。简而言之，如果数据是整洁的，那么每列都是一个变量，每行都是一个观测。整洁的数据非常重要，因为一致的数据结构可以让你将工作重点放在与数据有关的问题上，而不用再费尽心思地将数据转换为各种形式以适应不同的函数。一旦拥有了整洁的数据，通常下一步就是对数据进行转换。数据转换包括选取出感兴趣的观测（如居住在某个城市里的所有人，或者去年的所有数据）、使用现有变量创建新变量（如根据距离和时间计算出速度），以及计算一些摘要统计量（如计数或均值）。数据整理和数据转换统称为数据处理。

1.3 可视化与建模

一旦使用需要的变量完成了数据整理，那么生成知识的方式主要有两种：可视化与建模。这两种方式各有利弊，相辅相成。因此，所有实际的数据分析过程都要在这两种方式间多次重复。

• 可视化本质上是人类活动。良好的可视化会让你发现意料之外的现象，或对数据提出新的问题。你还可以从良好的可视化中意识到自己提出了错误的问题，或者需要收集不同的数据。可视化能够带给你惊喜，但不要期望过高，因为毕竟还是需要人来对其进行解释。
• 模型是弥补可视化缺点的一种工具。如果已经将问题定义得足够清晰，那么你就可以使用一个模型来回答问题。因为模型本质上是一种数学工具或计算工具，所以它们的扩展性一般非常好。即使扩展性出现问题，购买更多计算机也比雇用更多聪明的人便宜！但是每个模型都有前提假设，而且模型本身不会对自己的前提假设提出疑问，这就意味着模型本质上不能给你带来惊喜。

1.4 沟通

数据科学的最后一个步骤就是沟通。对于任何数据分析项目来说，沟通绝对是一个极其重要的环节。如果不能与他人交流分析结果，那么不管模型和可视化让你对数据理解得多么透彻，这都是没有任何实际意义的。

1.5 编程

围绕在这些技能之外的是编程。编程是贯穿数据科学项目各个环节的一项技能。数据科学家不一定是编程专家，但掌握更多的编程技能总是有好处的，因为这样你就能够对日常任务进行自动处理，并且非常轻松地解决新的问题。

2.tidyverse简介

https://www.tidyverse.org/
http://tidyverse.tidyverse.org
https://github.com/tidyverse/tidyverse
Report bugs at https://github.com/tidyverse/tidyverse/issues

image.png

tidyverse是为数据科学而设计的R软件包的自以为是的集合。 所有软件包都共享基本的设计理念，语法和数据结构。
使用以下命令安装完整的tidyverse：

2.1 安装

# Install from CRAN
install.packages("tidyverse")

# Or the development version from GitHub
# install.packages("devtools")
devtools::install_github("tidyverse/tidyverse")

2.2 加载

library(tidyverse)
#> ── Attaching packages ────────────────────────────────────────────────── tidyverse 1.2.1.9000 ──
#> ✓ ggplot2 3.2.1          ✓ purrr   0.3.3     
#> ✓ tibble  2.1.3          ✓ dplyr   0.8.3     
#> ✓ tidyr   1.0.0.9000     ✓ stringr 1.4.0     
#> ✓ readr   1.3.1          ✓ forcats 0.4.0
#> ── Conflicts ────────────────────────────────────────────────────────── tidyverse_conflicts() ──
#> x dplyr::filter() masks stats::filter()
#> x dplyr::lag()    masks stats::lag() 

image.png

3 tidyverse包分类

image.png

3.1 数据导入

• readr
  read_csv(); read_tsv(); read_delim(); read_fwf(); read_table(); read_log();
• readxl
  read_xls(); read_xlsx();
• haven
  打开SAS 、SPSS、Stata等外部数据

3.2 数据整理

• tibble
  对data.frame的改进，一种数据格式
• tidyr
  清洗数据 gather(); spread();

3.3 数据转换

• dplyr
  处理数据 mutate();select(); filter(); summarise();arrange();
• lubridate
  处理时间数据
• stringr
  处理字符串类型
• forcats
  处理因子变量（factors）

3.4 数据可视化

• ggplot2
  R016 ggplot2(01) 图形语法
  R017 ggplot2(02) 快速绘图qplot()
  R018 ggplot2(03) 箱线图及小提琴图
  R019 ggplot2(04) 点图与散点图
  R020 ggplot2(05) 直方图，条形图
  R021 ggplot2(06) 线图，密度图，qq图，ECDF图
  R022 ggplot2(07) 误差图，饼图
  R023 ggplot2(08) 组合图形
  R027 ggplot2绘图参数 — 标题及图例

3.5 编程

• magrittr
  管道运算符
• purr
  通过提供一些完整连贯用于函数和向量的工具集，增强R的函数编程。

Reference

https://zhuanlan.zhihu.com/p/28344817