Linux之shell脚本正则表达式
一、管道命令
1.sort
是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样
语法：
sort [选项] 参数
常用选项
-t：指定分隔符，默认使用[Tab]吧 键或空格分隔
-k：指定排序区域，哪个区间排序
-n：按照数字进行排序，默认是以文字形式排序
-u：等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功
-r：反向排序，默认是升序，-r就是降序
-o：将排序后的结果转存至指定文件
2.uniq
主要用于去除连续的重复行
注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重
（1）语法
uniq [选项] 参数
（2）常用选项
-c：对重复的行进行计数；
-d：仅显示重复行；
-u：仅显示出现一次的行
3.tr
它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符
语法
用法：tr [选项]… SET1 [SET2]
从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。
常用选项
-d 删除字符
-s 删除所有重复出现的字符，只保留第一个
4.cut
显示行中的指定部分，删除文件中指定字段
-f 通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分割符
-d “TAB”是默认的分隔符，使用此选项可更改为其他的分隔符
- -complement 用于排除所指定的字段
- -output-delimiter 更改输出内容的分隔符
二、正则表达式
1.正则表达式的定义
正则表达式—通常用于判断语句中，用来检查某一字符串是否满足某一格式
正则表达式是由普通字符与元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号
元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式
正则表达式组成
普通字符包括大小写字母、数字、标点符号及一些其他符号。
元字符是指在正则表达式中具有特殊意义的专用字符
LINUX 中常用的有两种正则表达式引擎
基础正则表达式：BRE
扩展正则表达式: ERE
2.常见元字符（支持的工具：find、grep、egrep、sed和awk）
. 表示任意一个字符
[ ] 匹配括号中的一个字符
^ 表示否定括号中出现字符类中的字符,取反
\转义字符 用于取消特殊符号的含义
^ 匹配字符串开始的位置
$ 匹配字符串结束的位置
{n} 匹配前面的子表达式n次
{n,} 匹配前面的子表达式不少于n次
{n,m} 匹配前面的子表达式n到m次
[:alnum:] 匹配任意字母和数字
[:alpha:] 匹配任意字母，大写或小写
[:lower:] 小写字符a-z
[:upper:] 大写字符A-Z
[:blank:] 空格和TAB字符
[:space:] 所有空白字符( 新行、空格、制表符)
[:digit:] 数字 0-9
[:xdigit:] 16 进制数字
[:cntrl:] 控制字符
表示任意一个字符
#表示任意一个字符
[root@yxp data]#echo abc|grep "a.c"
abc
#原来的点需要加\转义
[root@yxp data]#echo abc|grep "a\.c"
#标准格式需要加'' 或者""
[root@yxp data]#echo abc a.c|grep "a\.c"
abc a.c
[root@yxp data]#echo abc adc|grep "a.c"
abc adc
[ ] 匹配括号中的一个字符
#[yxp]
[root@yxp opt]#ls |grep "[yxp].txt"
p.txt
x.txt
y.txt
yxp.txt
#[0-9]
[root@yxp opt]#ls |grep "[0-9].txt"
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
7.txt
8.txt
9.txt
#{a..d}
[root@yxp aa]#touch {a..z}.txt
[root@yxp aa]#ls
a.txt e.txt i.txt m.txt q.txt u.txt y.txt
b.txt f.txt j.txt n.txt r.txt v.txt z.txt
c.txt g.txt k.txt o.txt s.txt w.txt
d.txt h.txt l.txt p.txt t.txt x.txt
#{A..Z}
[root@yxp bb]#touch {A..Z}.txt
[root@yxp bb]#ls
A.txt E.txt I.txt M.txt Q.txt U.txt Y.txt
B.txt F.txt J.txt N.txt R.txt V.txt Z.txt
C.txt G.txt K.txt O.txt S.txt W.txt
D.txt H.txt L.txt P.txt T.txt X.txt
#[a-d]:包括小a到小d，还有大写的，除了D
[root@yxp opt]#ls [a-d].txt
a.txt A.txt b.txt B.txt c.txt C.txt d.txt
##只想匹配小写（需要结合grep）
[root@yxp opt]#ls |grep '[a-d].txt'
a.txt
b.txt
c.txt
d.txt
#[A-D]：不包括小a
[root@yxp opt]#ls [A-D].txt
A.txt b.txt B.txt c.txt C.txt d.txt D.txt
##[A-D]只想匹配大写
[root@yxp opt]#ls |grep '[A-D].txt'
A.txt
B.txt
C.txt
D.txt
[root@yxp opt]#ls |grep "[^yxp].txt"
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
7.txt
8.txt
9.txt
a.txt
.........后面省略
[root@yxp opt]#echo 12txt|grep "[^az].txt"
12txt
[:alnum:]匹配任意字母和数字
##注意：一定要在外面再套一个[ ]
[root@yxp opt]#ls |grep '[[:alnum:]].txt'
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
[:alnum:]匹配任意字母和数字
##注意：一定要在外面再套一个[ ]
[root@yxp opt]#ls |grep '[[:alnum:]].txt'
0.txt
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
元字符：（.）
#//表示rc. rc0 ... rc6
[root@yxp opt]#ls /etc/ |grep 'rc[.0-6]'
rc0.d
rc1.d
rc2.d
rc3.d
rc4.d
rc5.d
rc6.d
rc.d
rc.local
#r..t ..表示任意两个字符
[root@yxp opt]#grep "r..t" /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
2.扩展正则表达式
扩展正则表达式（支持的工具：egrep、awk）
通常情况下会使用基础正则表达式就已经足够了，但有时为了简化整个指令，需要使用 范围更广的扩展正则表达式。例如，使用基础正则表达式查询除文件中空白行与行首为“#”
之外的行（通常用于查看生效的配置文件），执行“grep -v‘^KaTeX parse error: Expected group after '^' at position 21: ….txt | grep -v‘^̲#’”即可实现。这里需要使用管…|^#’test.txt”，其中，单引号内的管道符号表示或者（or）。
此外，grep 命令仅支持基础正则表达式，如果使用扩展正则表达式，需要使用 egrep 或 awk 命令。awk 命令在后面的小节进行讲解，这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式，使用该命令可以搜索文件中的任意字符串和符号，也可以搜索一个或多个文件的字符串，一个提示符可以是单个字符、一个字符串、一个字或一个句子。
与基础正则表达式类型相同，扩展正则表达式也包含多个元字符，常见的扩展正则表达 式的元字符主要包括以下几个.
- 匹配前面子表达式0次或者多次 .* 任意长度的任意字符 ？ 匹配前面子表达式0次或者1次，即：可有可无
- 与星号相似，表示其前面字符出现一次或多次，但必须出现一次,>=1 {n,m} 匹配前面的子表达式n到m次 {m} 匹配前面的子表达式n次 {n,} 匹配前面的子表达式不少于n次 >=n {，n} 匹配前面的子表达式最多n次，<=n | 用逻辑OR（或）方式指定正则表达式要是用的模式 （） 字符串分组，将括号中的字符串作为一个整体。
*匹配前面子表达式0次或者多次
[root@yxp opt]#echo google ggle|grep "go*gle"
google ggle
[root@yxp opt]#echo google ggle gggle|grep "go*gle"
google ggle gggle
{n,m}匹配前面的子表达式n到m次
[root@yxp opt]#echo goooogle goole gggle|egrep "go{3,5}gle"
goooogle goole gggle
{n,} 匹配前面的子表达式不少于n次 >=n
[root@yxp opt]#echo goooogle gooogle gggle|egrep "go{3,}gle"
goooogle gooogle gggle
- 匹配前面子表达式0次或者多次
[root@yxp opt]#echo gggggggggggdadasgle|grep 'g*gle' gggggggggggdadasgle.*任意长度的任意字符
[root@yxp opt]#echo gggggggggggdadasgle|grep '.*gle' gggggggggggdadasgle？匹配前面子表达式0次或者1次，即：可有可无
[root@yxp opt]#echo goole gogle ggle|egrep "go?gle" goole gogle ggle+与星号相似，表示其前面字符出现一次或多次，但必须出现一次,>=1
[root@yxp opt]#echo google gogle ggle gooogle|egrep "go+gle" google gogle ggle gooogle| 逻辑OR（或）方式指定正则表达式要是用的模式
[root@yxp opt]#echo 1ee 1abc 2abc|egrep "1|2abc" 1ee 1abc 2abc（） 字符串分组，将括号中的字符串作为一个整体。
[root@yxp opt]#echo 1ee 1abc 2abc|egrep "(1|2)abc" 1ee 1abc 2abc提取ip地址
#法一 [root@yxp opt]#ifconfig ens33|grep "netmask"|grep -o -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"|head -1 192.168.59.102 #法二:使用了分组 [root@yxp opt]#ifconfig ens33|grep "netmask"|egrep -o '([0-9]{1,3}.){3}[0-9]{1,3}'|head -1 192.168.59.1023.位置锚定
位置限定符 说明
^ 行首锚定，用于模式的最左侧
$ 行尾锚定，用于模式的最右侧
PATTERN 用于模式匹配整行
^$ 空行
1*$ 空白行
< 或 \b 词首锚定，用于单词模式的左侧（连续的数字，字母下划线都算）
>或 \b 词尾锚定，用于单词的右侧
行尾锚定，用于模式的最右侧
[root@yxp opt]#grep "bash$" /etc/passwd
root:x:0:0:root:/root:/bin/bash
yxp:x:1000:1000:yxp:/home/yxp:/bin/bash
行首锚定，用于模式的最左侧
[root@yxp opt]#grep "^root" /etc/passwd
root:x:0:0:root:/root:/bin/bash
用于模式匹配整行，匹配的内容单独在一行
[root@yxp opt]#echo root|grep "^root$"
root
< ：只匹配右侧的单词
[root@yxp opt]#echo hello-123|grep "\<123"
hello-123
>：只匹配左侧的单词
[root@yxp opt]#echo hello-123 222|grep "hello\>"
hello-123 222
过滤出不是以#开头的非空行
[root@yxp opt]#grep "^[^#]" /etc/fstab
/dev/mapper/centos-root / xfs defaults 0 0
UUID=183ca7c7-1989-4f43-9e81-d2676192f5a4 /boot xfs defaults 0 0
/dev/mapper/centos-home /home xfs defaults 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
/dev/sdb1 /mnt xfs defaults 0 0
-
[:space:] ↩︎