Shell | 正则表达式与通配符

正则表达式在文本处理中作用很大，多用在grep、sed、awk命令，其他编程语言也会用到正则表达式。

---

1. 基本正则表达式
2. 扩展正则表达式
3. POSIX 字符集
4. 非打印字符
5. 通配符

---

1. 基本正则表达式

元字符	含义
^	行首定位符
$	行尾定位符
.	单个字符匹配
*	限定符
[]	字符集匹配
[^]	字符集不匹配
\(\)	定义子表达式的开始和结束位置；“\(love\).*\1”相当于love.*love
x\{m,n\}	区间表达式；x\{n\}表示最多重复n次，x\{m,\}表示最少重复m次，x\{m,n\}表示重复m~n次
\<	词首定位符；“\
\>	词尾定位符；“hello\>”匹配含有以字符串“hello”结尾的单词的文本行

1.1 修改基因 id

$ cat pep.fa
>lcl|NC_036237.1_cds_XP_022885606.1_1
$ sed "s/>.*cds_/>cds-/g" pep.fa
>cds-XP_022885606.1_1

1.2 去除空行

$ echo -e "a\n\nb" | grep -v "^$"
a
b
$ echo -e "a\n\nb" | grep "."
a
b

2. 扩展正则表达式

元字符	含义
+	限定前面的字符至少出现一次
?	限定前面的字符最多只出现一次，即重复 0 次或者 1 次
| 和 ()	表示多个正则表达式之间 “或” 的关系

2.1 grep -E

$ cat genome.gff
1       AUGUSTUS        gene    3004    3423    0.81    +       .       g1
1       AUGUSTUS        gene    80618   80998   0.91    -       .       g2
1       AUGUSTUS        gene    81054   81815   0.69    +       .       g3
1       AUGUSTUS        gene    88721   89122   0.87    +       .       g4
1       AUGUSTUS        gene    381123  387745  0.88    -       .       g5

$ grep -vE "(g1|g3|g5)" genome.gff # 这里不加 () 貌似也可以
1       AUGUSTUS        gene    80618   80998   0.91    -       .       g2
1       AUGUSTUS        gene    88721   89122   0.87    +       .       g4
$ grep -vE "g(1|3|5)" genome.gff
1       AUGUSTUS        gene    80618   80998   0.91    -       .       g2
1       AUGUSTUS        gene    88721   89122   0.87    +       .       g4

grep -E 是支持扩展正则表达式，如果不知道这个用法就得：

$ grep -v "g1" genome.gff | grep -v "g3" | grep -v "g5"
1       AUGUSTUS        gene    80618   80998   0.91    -       .       g2
1       AUGUSTUS        gene    88721   89122   0.87    +       .       g4

3. POSIX 字符集

	含义
[:alnum:]	匹配任何一个字母或数字，等价于 A-Za-z0-9
[:upper:]	匹配任何一个大写字母，等价于 A-Z
[:lower:]	匹配任何一个小写字母，等价于 a-z
[:digit:]	匹配任何一个数字，等价于 0-9
[:space:]	匹配任何一个空白字符，包括空格、制表符、换行符、分页符等
[:blank:]	匹配空格和制表符
[:print:]	匹配任何一个可以打印的字符，包括空白字符
[:punct:]	匹配任何一个标点符号，例如“[]”、“{}”、“,”等

4. 非打印字符

windows下的文本复制到 linux 经常会有非打印字符的干扰，用命令 cat -A 即可看到

字符	含义
\f	匹配一个换叶符
\n	匹配一个换行符
\r	匹配一个回车符
\t	匹配一个制表符
\v	匹配一个垂直制表符
\s	匹配任意空白字符，包括空格、制表符、换页符等；等价于[\f\n\r\t\v]
\S	匹配任意非空白字符；等价于[^ \f\n\r\t\v]

$ echo -e "\f\n\r\n" > a.txt
$ cat -A a.txt
^L$
^M$
$

5. 通配符

Shell 使用了正则表达式中的某些元字符作为其通配符。
这些字符在Shell中的意义与在正则表达式中的意义有些区别。

通配符	含义
*	表示匹配任意的字符，而不是正则表达式中的限制其前导字符的 0 次或者多次重复
?	表示一个字符，而非其前导字符的 0 次或者1次重复
[]	匹配其中任意一个字符

$ ls *.pl # 匹配所有以 .pl 结尾的文件
a.pl  b.pl  c.pl  d.pl  e.pl  f.pl
$ ls [a-c].pl
a.pl  b.pl  c.pl