30分钟的教程写了13年，这回正则表达式有救了

关于正则表达式

一定要看完，收藏就是雪藏。

如果我们要在一段mRNA序列里查找起始密码子“ATG”的位置，在word中使用查找就可以，也可以使用快捷键Ctrl+F,输入ATG就行。这是常规操作，人人都会。

但是如果我们要寻找一段CDS区(蛋白编码序列)，他通常是以ATG起始，以TGA,TAG,TAA三个中的任意一个结尾，起始和终止中间出现的字符要是3的倍数(三联密码子)。上述描述的规律无法直接输入，需要用一个通用的具有代表性式子来表示，可以是这样的

ATG([ATCG]{3})+(TGA|TAG|TAA)

现在看不懂很正常，说明还不懂，需要往下看，相信我，看完了你就懂了(我不骗你)。
这种表示匹配模式的式子就是传说中的正则表达式。

正则表达式名字很奇怪，我觉得是被翻译给耽误了，他的英文是regular expression，翻译成通用表达式，或者规则表达式会更加合理。

R语言的正则表达式是让我头疼的，所以我干脆就没有去学。一件事情，只要不是刚需，就有拖延的可能性。后来男神Hadley Wickham 写了一个R包stringr使得流程简化，里面规范了正则表达式相关函数的名称。

但是我一直分不清他们之间的关系，直到有一天我遇到了下面这张小抄。

正则表达式的匹配模式用pattern来表示，他把正则表达式在字符串的功能分为四个方面，分别是

1. 查找：Detect pattern，确定这个模式有没有
2. 定位：Locate pattern， 返回模式起止位置
3. 取回：Extract pattern, 返回模式匹配到的条目
4. 替换：Replace pattern，替换匹配的模式，返回替换后的结果

理解了这个小抄后，我一下就进去了，有一种愉快的突破感。
总结一下就是一下几个函数，都是以str_开头：

学习字符串处理的R包stringr

我们以此讲一下这几个函数的使用：
首先创建一个需要练习的字符串，

strings <- c(
  "apple", 
  "219 733 8965", 
  "329-293-8753", 
  "Work: 579-499-7527; Home: 543.355.3679"
)

我们看到里面有一些电话号码，但是格式不一样，现在我们创建一个可以匹配电话号码的模式

1.正则表达式中的三个括号

在这里先介绍正则表达式中的三个括号

[]
{}
()

中括号[]表示选项，代表内部数据任意选择，比如[ATCG]，表示A，T，C，G四个字符随意选择。
如果是数字也是一个意思[1356],表示有1，2，5，6这个四个选项
如果嫌麻烦，可用-连接起始代表范围，
比如[A-Z]，代表大写的26个字母，
比如[a-z]，代表小写的26个字母，
比如[0-9]，代表从0到9的10个数字，
还可以混写
比如[0-9a-zA-Z]，代表数字和字母

大括号{}代表重复次数，比如[ATCG]{3}表示从A,T,C,G四个字符中选择3个，那么这时候会产生ATC,ATG,ACG,TCG4种组合，在这里是为了形成三联密码子。
如果是两个数，用逗号隔开，代表范围，[0-9]{4,10} 表示产生4位数到10位数都可以。
如果两个数中的第二个缺失，比如[0-9]{4,}，代表4位数及以上。

圆括号()代表成组，跟我们平常理解的意思一样，代表分组。实际上他的用处很多，但是分组，是核心功能。

2.编写第一个正则表达式

这时候，用前面的的知识，已经可以构建一个识别电话号码的模式了。

pattern <- "([1-9][0-9]{2})[- .]([0-9]{3})[- .]([0-9]{4})"

首先有三个括号(), 里面的内容分别是

[1-9][0-9]{2} 
[0-9]{3}
[0-9]{4}

看一下[1-9][0-9]{2}，这表示有三个数字，第一个数字不为零
[0-9]{3}和[0-9]{4}分别表示3位数和四位数
这三个大的内容用[- .]来间隔，分别是-和.号.

这时候回看这个表达式，是不是好很多了

pattern <- "([1-9][0-9]{2})[- .]([0-9]{3})[- .]([0-9]{4})"

3.用str_view函数学习正则表达式

这个函数是用来学习正则表达式的

str_view(strings, pattern)

返回的结果，以图示化展示模式匹配的结果

以下仅仅通过更改函数名称，即可返回不同的结果
1.查找
str_detect，从strings中检测能否和pattern匹配，返回的是逻辑值，有点像grepl

str_detect(strings, pattern)

结合str_view的结果，表示，2，3，4确实匹配到了结果。
2.定位
str_locate，从strings中检测能否和pattern匹配，返回匹配的起止位置

str_locate(strings, pattern)

3.取回
这个又分为三个层面, 层层递进
第一， str_subset返回的是匹配到的原始条目

str_subset(strings, pattern)

第二， str_extract返回的是匹配到的模式

str_extract(strings, pattern)

第三， str_match返回的是数据框
第一列是str_extract的数据，后面依次是括号中的内容，模式中有多少个 (),就返回多少列。本例中有三对小括号。

str_match(strings, pattern)

4.替换
str_replace从strings中能够精确匹配pattern的内容，并替换为''XXX-XXX-XXXX''(此处自定义)

str_replace(strings, pattern, "XXX-XXX-XXXX")

现在，我们就多了一个新技能，我最最喜欢str_match。

4.使用正则表达式来提取GEO基因symbol

(这部分内容以前写过，我复制了过来，复制自己已发布的内容，也算是抄袭)
以下这个GEO的样本名称，处理和对照夹杂，如何获取样本名称呢？

在很长一段时间内，我用的是tidyr包中的分列separate，因为作为R语言讲师，我想传授的是自我更新的能力，所以，函数越少越好，虽然我特别推荐R数据科学这本书，认为他拯救了我，但是他里面我也就学习了10个函数，而且我也只教这10个函数。

在这里，我只要不断分和取舍，就能获得想要的列，也就是隐藏着的case和control。

那我们就操作一下：
复制信息粘贴为txt，

读入R语言，并且命名。

data <- data.table::fread("gsm_group.txt",data.table = F,header = F)
names(data) <- c("GSM","group")

现在数据是这个样子的：

切割两次，第一次以_blood_作为分隔符，一分为二，留取后面的内容，再以 _切割一次，获取前面的内容就可以了

library(dplyr)
library(tidyr)
metadata <- data %>% 
  separate(group,into = c("drop","group"),sep = "_blood_") %>% 
  select(-drop) %>% 
  separate(group,into = c("group","drop"),sep = "_") %>% 
  select(-drop)

现在我们就获得了想要的数据：

现在我们多了一个选择，正则表达式，而且，这是强项！！
在那之前我们再介绍三个表示匹配次数的符号

？
+
*

问号?表示0次或者是1次，因为这是一个生存或是毁灭的问题
加号+表示1次或者多次，把加号和1联系起来，用医(1)院来记忆
星号*表示0次或者多次，把星号和零联系起来，用零星来记忆

这样我们就得到了六种表示次数的方法

来自文末教程

现在我们可以来编写一个正则表达式了
我们用我最喜欢的stringr这个包里面的str_match函数来处理，因为他可以返回括号中的内容，做到精确匹配和返回。

library(stringr)
group <- str_match(data$group,"whole_blood_(.*)_.*")
metadata <- data.frame(GSM=data$GSM,group=group[,2])

下面解释一下这里面涉及到的正则表达式，

whole_blood_(.*)_.*

以"whole_blood_control_33"为例，看看这段表达式的意义:
他表示有这么一段字符串，

• 先出现whole_blood_
• 再出现一串字符control
• 后面跟着下划线_
• 最后跟着一串字符结束33

正则表达式，代表的是我们观察世界的后提取的内在规律，我们观察了group那一列，发现，他可以用一个通用的式子来表达。
正则表达式用点号.代表任何字符，用*号代表出现0次或者多次，那么刚才的特例就可以写成whole_blood_.*_.*
他表示，我要匹配一段字符串，这个字符串由四部分组成，

• 第一部分是，whole_blood_，
• 第二部分是任意个数的字符.*，
• 第三部分是下划线_,
• 第四部分是任意个数的字符.*，

因为我们需要的是两个下滑线中间的部分，也就是第二部分的内容，所以给他一个括号()，这样str_match函数就会识别这个模式并返回括号()中的内容。此时模式就写出了这样whole_blood_(.*)_.*。

你看，结果是一模一样的，而且十分高效。

再比如，GEO中有的gene symbol是小括号内的

正则表达式处理起来，也是十分顺手，具体看这个
正则表达式是我们认识世界的哲学
本篇帖子，也算是对那个帖子的填坑。

5.匹配编码区域CDS

这个就是我们帖子一开始的那个需求，我们来回忆一下:

如果我们要寻找一段CDS区(蛋白编码序列)，他通常是以ATG起始，以TGA,TAG,TAA三个中的任意一个结尾，起始和终止中间出现的字符要是3的倍数(三联密码子)。

上面这段话，我们就总结了了CDS的规律，正则表达式可以展示出这个规律，可以是这样的

ATG([ATCG]{3})+(TGA|TAG|TAA)

解释如下：
首先是以起始密码子ATG开头，
接着出现三联密码子，用[ATCG]{3}, 出现的次数是1次或者多次，所以整体给个加号+
那现在就是这个样子的
ATG([ATCG]{3})+
接着要出现终止密码子，有三种，分别是TGA,````TGA,TAA,正则表达式中竖线|表示或的意思，那么(TGA|TAG|TAA)```就代表，三个终止密码子任意选择一个。
最终CDS区就表示成这个样子啦

ATG([ATCG]{3})+(TGA|TAG|TAA)

6.转义

这个有点特别，有没有想过，如果一个字符串出现以下的符号，该怎么匹配

'
*
?
+
|

这些字符我们都已经碰到过，他们比较特别，因为他们除了字符串本身外，还有其他意义，称为元字符。正常情况下出现的时候都是特殊意义，如果想要他代表字符本身的意思，比如点号.就代表点号，就需要给他转义，转义的符号是斜杠\，那么点号就应该写作\.。

但是，说话就怕但是，这里的斜杠\也属于元字符，需要另外一个斜杠来转义，那么在R语言中，如果想要表示匹配点号本身，就应该是这个样子的\\.,也就是说R语言里面的转义是两个斜杠\\。

那么如果特殊一点我要匹配一对括号怎么办？括号也是元字符，那就得转义\\(\\)
如果要匹配两个//，那就应该写成\\/\\/,十分有趣吧？

举个例子哈，现在有个能裂解字符串的函数，也是来自于stringr这个包，叫做str_split
我们用点号.来裂解一个字符串a.b.c

str_split("a.b.c",pattern = ".")

这种情况下结果是这样的，显然不对

[[1]]
[1] "" "" "" "" "" ""

点号应该用转义符号去转义

str_split("a.b.c",pattern = "\\.")

此时结果就正常了。

[[1]]
[1] "a" "b" "c"

那么stringr中还有哪些比较有用的函数呢？其实不多，可以参考这个帖子自行学习。
https://cran.r-project.org/web/packages/stringr/vignettes/stringr.html

这样借助stringr这个包，我们就讲完了R语言中的正则表达式，但是实际上，这只是入门。我们题目写的很夸张，30分钟的帖子写了13年。并不是指的是我现在这个帖子，我说的是这个。

这个帖子写的真好，作者的名字叫陆超，软件开发者，自由职业者，父亲。最后的阅读原文可以直接跳转过去，
从他的更新记录我们可以看到，第一版是2006年

这都2019年了，还在更新，十分不容易，我还给他赞赏了一下。

我在想，13年后，我40几岁的时候，大概率还活跃在生信领域，继续更新果子学生信公众号。