Shell编程及自动化运维实现 第5章 三剑客

---

正则表达式

名词解释

正则表达式（regular expression, RE）是一种字符模式，
用于在查找过程中匹配指定的字符。
在大多数程序里，正则表达式都被置于两个正斜杠之间；
例如/l[oO]ve/就是由正斜杠界定的正则表达式，
它将匹配被查找的行中任何位置出现的相同模式。
在正则表达式中，元字符是最重要的概念。

工具

被vim、sed、awk、grep调用

场景

mysql、oracle、php、python ，Apache，Nginx...  需要正则

示例

需求
	匹配数字的脚本：用户输入创建账号的数量
语法
	[[ ^[0-9]+$ ]]
示范
	read -p "输入数字才退出:  " num

while :
do

if [[ ! $num =~ ^[0-9]+$ ]];then
    echo "error enter!"
    read -p "输入数字才退出：" num
else
    echo "thank you"
    exit 1
fi
done

元字符

定义

元字符是这样一类字符，它们表达的是不同于字面本身的含义

分类

基本正则表达式元字符

^
行首定位符

❌[root@localhost ~]# grep “root” /etc/passwd
root: x :0:0:root:/root:/bin/bash
operator: x :11:0:operator:/root:/sbin/nologin


[root@localhost ~]# grep “^root” /etc/passwd
为什么什么少一行？
root: x :0:0:root:/root:/bin/bash

[^]
匹配不在指定组内的字符
	[^a-z0-9]ove          //取反

❌[root@localhost~]# cat 1.txt
love
1ove
|ove

[root@localhost~]# grep [0-9a-Z]ove 1.txt
love
1ove
[root@localhost ~]# grep [^0-9a-Z]ove 1.txt
|ove

$
行尾定位符

❌[root@mycat ~]# grep “gin$” passwd
mail: x :8:12:mail:/var/spool/mail:/sbin/nologin

.
匹配任意单个字符

❌[root@localhost ~]# grep abc 1.txt
abc
[root@localhost ~]# grep adc 1.txt
adc
[root@localhost ~]# grep a.c 1.txt
abc
adc

*
匹配前导符0到多次

❌[root@localhost ~]# cat 1.txt
a
ab
abc
abcd
abcde
abcdef
ggg
hhh
iii
[root@localhost ~]# grep “abc*” 1.txt
ab
abc
abcd
abcde
abcdef
[root@localhost ~]# grep “abcd*” 1.txt
abc
abcd
abcde
abcdef

.*
任意多个字符

❌[root@localhost ~]# grep ".* " 1.txt
a
ab
abc
abcd
abcde
abcdef
ggg
hhh
iii
为什么*.不好使？

[ ]
匹配指定范围内的一个字符

❌[lL]ove
搜索love不论大小写

[ - ]
匹配指定范围内的一个字符,连续的范围

❌[a-z0-9]ove //[a-Z]=[a-zA-Z]

\
用来转义元字符	(''   ""    \)，脱意符

❌[root@localhost ~]# grep “l.” 1.txt
love
l.ve
[root@localhost ~]# grep “l.” 1.txt
l.ve

\<
词首定位符

❌[root@localhost ~]# grep “love” 1.txt
love
iloveyou
[root@localhost ~]# grep “\ love

\ >
词尾定位符
love>

()
\(..\)
匹配稍后使用的字符的标签

❌:% s/172.16.130.1/172.16.130.5/
:% s/(172.16.130.)1/\15/
:% s/(172.)(16.)(130.)1/\1\2\35/
:3,9 s/(.*)/#\1/ 加注释

x\{m\}
字符x重复出现m次

❌[root@localhost ~]# grep o 1.txt
love
loove
looove
[root@localhost ~]# grep “o{3}” 1.txt
looove

x\{m,\}
字符x重复出现m次以上
	o\{5,\}

❌

x\{m,n\}
字符x重复出现m到n次
	o\{5,10\}

[root@localhost ~]# egrep “o{4,5}” 1.txt
oooo
ooooo
ioooo
ooooi
iooooi
[root@localhost ~]# egrep “o{5,5}” 1.txt
ooooo

---

扩展正则表达式元字符

egrep

+
匹配1~n个前导字符

[root@localhost ~]# cat 1.txt
lve
love
loove
[root@localhost ~]# egrep lo+ve 1.txt
love
loove

?
匹配0~1个前导字符
	lo?ve ：？前面的o 有还是没有，都行！

[root@localhost ~]# egrep lo?ve tom.sh
love
lve

a|b
匹配a或b

[root@localhost ~]# egrep “o|v” 1.txt
lve
1ove
loove
looove
loeve
love
Love
iloveyou
l.ve
o
oo
ooo
oooo
ooooo
ioooo
ooooi
iooooi

()
组字符

[root@localhost ~]# egrep “loveable|rs” 1.txt
rs
loveable
lovers
[root@localhost ~]# egrep “love(able|rs)” 1.txt
loveable
lovers

---

示例1
grep   love    1.txt
	找love
/^love/
	以love开头
/love$/
	以love结尾
/l.ve/
	l开始，一个任意字符，ve结尾
/lo*ve/
	l开始，零个或多个o，ve结尾
/[Ll]ove/
	大L 或者小L 开头的  ove
/love[a-z]/
	love最后一个小写字母
/love[^a-zA-Z0-9]/
	love最后一个（不是字母或者数字），而是符号
		[root@localhost ~]# egrep  "love[^a-zA-Z0-9]" 1.txt 
love,
love?

---

grep

目的

过滤，查找文档中的内容

分类

grep

略

egrep

扩展支持正则

\w	所有字母与数字，称为字符[a-zA-Z0-9]		    
		'l[a-zA-Z0-9]*ve'		 ===       'l\w*ve'
		
\W 所有字母与数字之外的字符，称为非字符		
'love[^a-zA-Z0-9]+' 	===    'love\W+'

\b	词边界										
 '\'		  	 ===             '\blove\b'		

fgrep

就不支持正则

	[root@localhost ~]# fgrep . 1.txt
l.ve

返回值

0 是找到了
表示成功；
1 是没有
表示在所提供的文件无法找到匹配的pattern
2 找到地儿不对

示范
# grep 'root' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# echo $?
0

# grep 'root1' /etc/passwd  #用户root1并不存在
# echo $?
1

grep 'root' /etc/passwd1  #这里的/etc/passwd1文件并不存在
#grep: /etc/passwd1: No such file or directory
#echo $?
2

参数

grep -q 静默
结果不显示在屏幕上，可通过返回值了解

grep -v 去反

grep -R 可以查目录下面的文件
默认只能查找文件

grep -o 只找到这个关键字就可以
[root@localhost ~]# grep “a” 1.txt
5.a
5.aaa
a
ab
ldfadasfsdave

[root@localhost ~]# grep -o “a” 1.txt
a
a
a
a
a

grep -B2前两行
grep -A2后两行
grep -C2上下两行

egrep -l 只要文件名
[root@localhost ~]# egrep -l ‘root’ /etc/passwd
/etc/passwd

egrep -n 带行号
[root@localhost ~]# egrep -n ‘xulei’ /etc/passwd
43:xulei: x :1000:1000::/home/xulei:/bin/bash

示例

# egrep 'NW' datafile
在datafile文件中，找NW
# egrep 'NW' d*
找NW，文件只要是d开头就可以
# egrep '^n' datafile
以n开头的
# egrep '4$' datafile
4结尾
# egrep TB Savage datafile
找TB，在savage里找，在datafile里找
# egrep 'TB Savage' datafile
找TB Savage
# egrep '5\..' datafile	
找五点后面是一个任意字符
# egrep '\.5' datafile
找点五
# egrep '\' datafile	
就找这个词
# egrep '\<[a-r].*n\>' datafile
a或r开头，中间任意，n结尾
# egrep '^n\w*\W' datafile
n开头，多个字母，结尾一个非字母
# egrep '\bnorth\b' datafile
就找north
# egrep 'NW|EA' datafile
NW或者EA
# egrep '3+' datafile
1个或多个3
# egrep '2\.?[0-9]' datafile
2开头，0个或1个点，一个数字
# egrep '(no)+' datafile
一个或多个no
# egrep 'S(h|u)' datafile
sh或su
# egrep 'Sh|u' datafile
sh或者u

---

sed

前言
Stream EDitor：流编辑
sed 是一种在线的、非交互式的编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输 出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；
文本文件->“模式空间”（pattern space）->屏幕
逐行处理
内容未变
编辑文件

格式

1 sed   选项  命令 文件 
	sed [options] 'command' file(s)
2 sed     选项 –f 脚本 文件
	sed [options] -f scriptfile file(s)

返回值

都是0，对错不管。
只有当命令存在语法错误时，sed的退出状态才是非0

sed和正则表达式

与grep一样，sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。
正则表达式是括在斜杠间的模式，用于查找和替换，以下是sed支持的元字符。
使用基本元字符集	^, $, ., *, [], [^], \< \>,\(\),\{\}
使用扩展元字符集	?, +, |, ( )
使用扩展元字符的方式：
	\+           转义
	sed -r      加-r

汇总示例

删除命令： d

#sed -r ‘/root/d’ passwd
删除带root的行

#sed -r ‘3d’ passwd
#sed -r ‘3{d}’ passwd
删除第三行

#sed -r ‘3{d;}’ passwd
{存放sed的多个命令} 3{h;d}，h暂存空间

#sed -r ‘3,$d’ passwd
删除3到最后一行之间的内容

#sed -r ‘$d’ passwd
删除最后一行内容

替换命令： s

sed -r ‘s/root/aofa/’ passwd


sed -r ‘s/^root/aofa/’ passwd


sed -r ‘s/root/aofa/g’ passwd

sed -r ‘s/[0-9][0-9]$/&.5/’ passwd
查找双数 结尾的词组
&：替换成 双数.5
&有查询结果的含义。

#sed -r ‘s/(mail)/E\1/g’ passwd
（）括号组合字符，\1调用括号
[root@localhost ~]# sed -r ‘s/(mail)/E\1/g’ passwd
Email: x :8:12:Email:/var/spool/Email:/sbin/nologin9

sed -r ‘s#(mail)#E\1#g’ passwd
分隔符可以换成井号