正则表达式及egrep命令详解+示例

正则表达式

正则表达式（Regular Express ？），使用“一串符号”来描述有共同属性的数据

基本元字符

行首及单字匹配

类型	含义	格式	说明	示例
^	匹配行首	^abc	以abc开头的行	egrep '^root' /etc/passwdegrep
		^#	以#号开头的行(如注释行)
$	匹配行尾	abc$	以abc结尾的行	egrep -c '/bin/bash$' /etc/passwd
		^$	空行
.	单个字符	.	除换行符（\n）以外的任意单个字符

未定匹配次数

类型	含义	格式	说明	示例
+	最少匹配一次	a+	一个或多个连续的a
		(abc)+	一个或多个连续的abc	egrep '(abc)+' reg.txt
?	最多匹配一次	a?	0个或1个a
		(abc)?	0个或1个abc
*	匹配任意次数	a*	0个或多个连续的a	a aa aaa …… 及没有a的其他字符
		ab*		a ab abb ……
		(abc)*	0个或多个连续的abc	egrep '(abc)*' reg.txt
		.*	任意长度的任意字符串

[]范围内单字匹配

          ——集合，匹配指定字符集合内的任何一个字符，[]内加^可取反

格式	说明
[alc45_?]	匹配a、l、c、4、5、_、?
[a-z]	匹配任意小写字母
[A-Z]	匹配任意大写字母
[0-9]	匹配任意数字
[a-Z0-9]	匹配任意字母或数字
[^]	对集合取反
[^A-Z]	匹配包括非大写字母的行
^[^a-z]	匹配不以小写字母开头的行

{}限定表达式的匹配次数

类型	含义	格式	说明
\(\) ()	保留、复制	（abc）
\{n\} {n}	前一个字符匹配n次	(ab){3}	匹配ababab
\{n,m\} {n,m}	前一个字符匹配n-m次	(ab){1,3}	匹配ab，abab，abababab
\{n,\} {n,}	前一个字符匹配至少n次（n次及以上）	(ab){2,}	匹配2个及以上连续的ab

使用\1标签可调用本组表达式内第1个用（）保存的匹配结果，即（）为复制，\为粘贴

后向引用 ：把源数据保存起来，在替换的时候使用。

示例：将第一个字符与最后一字符对调:sed -r “s/^(.)( .*)(.)$/\3\2\1/” a.txt

将第一个字符与最后一字符对调:sed -r "s/^(.)(.)(.*)(.)(.)$/\1\4\3\2\5/" a.txt 

 

整体及边界匹配

类型	含义	格式	说明
()	组合为整体	ab{1,3}	匹配ab,abb,abbb
		(ab){1,3}	匹配ab、abab、ababab
|	或者	root|bin	匹配root、bin
\b	单词边界	\broot\b	匹配单词root，不匹配keroot、rooty、brooty等字符串
\<	单词的开头	\	匹配以th开头的单词
\>	单词的结束	\	作用与\broot\b相同
\为转义符号，可以为一些普通字符赋予特殊含义，或将一些特殊字符变为普通字符。

基本正则兼容性更强，相对繁琐，扩展正则功能更强，兼容性差[有些软件不支持扩展正则]。

如+、？由＊拆出来；\{n,\}简化为{n,}；基本正则的处理单位是【一个符号】，可用（）划为一个整体

egrep过滤工具

等同于grep -E，表示允许使用扩展的正则表达式

文本处理顺序：以行为单位，逐行进行处理；默认只输出与表达式相匹配的文本行

基本用法

格式1：egrep [选项] ‘正则表达式’文件....

格式2：前置命令 ｜ egrep [选项] ‘正则表达式’文件

常用命令选项：

-i：忽略字母大小写

-v：条件取反

-c：统计匹配的行数

-q：静默、无任何输出，一般用于检测及脚本（看$?返回值，0则匹配，非0则无匹配）

-n：显示出匹配结果所在的行号

--color：标红显示匹配字串

 

正则表达式匹配练习

1）典型的应用场合：grep、egrep检索文本行

使用不带-E选项的grep命令时，支持基本正则匹配模式。比如“word”关键词检索、“^word”匹配以word开头的行、“word$”匹配以word结尾的行……等等。

输出以“r”开头的用户记录：  # grep '^r' /etc/passwd

输出以“localhost”结尾的行：# grep 'localhost$' /etc/hosts

若希望在grep检索式同时组合多个条件，比如输出以“root”或者以“daemon”开头的行，这时候基本正则就不太方便了（“或者”必须转义为“\|”）：

# grep '^root\|^daemon' /etc/passwd          //正确获得结果

而若使用grep -E或egrep命令，可支持扩展正则匹配模式，能够自动识别 |、{ 等正则表达式中的特殊字符，用起来更加方便，比如：

# grep -E '^root|^daemon' /etc/passwd

或者

# egrep '^root|^daemon' /etc/passwd

使用grep -E 与 使用egrep命令完全等效，推荐使用后者，特别是涉及到复杂的正则表达式的时候。

 

2）grep、egrep命令的-q选项

选项 -q 表示 quiet（静默）的意思，结合此选项可以只做检索而并不输出，通常在脚本内用来识别查找的目标是否存在，通过返回状态 $? 来判断，这样可以忽略无关的文本信息，简化脚本输出。

比如，检查/etc/hosts文件内是否存在192.168.4.4的映射记录，如果存在则显示“YES”，否则输出“NO”，一般会执行：

# grep '^192.168.4.4' /etc/hosts && echo "YES" || echo "NO"

这样grep的输出信息和脚本判断后的提示混杂在一起，用户不易辨别，所以可以改成以下操作：# grep -q '^192.168.4.4' /etc/hosts && echo "YES" || echo "NO"

是不是清爽多了，从上述结果也可以看到，使用 -q 选项的效果与使用 &> /dev/null的效果类似。

 

3）基本元字符 ^、$ —— 匹配行首、行尾

输出默认运行级别的配置记录（以id开头的行）： # egrep '^id' /etc/inittab

输出主机名配置记录（以HOSTNAME开头的行）： 

# egrep '^HOSTNAME' /etc/sysconfig/network

统计本地用户中登录Shell为“/sbin/nologin”的用户个数：

# egrep -m10 '/sbin/nologin$' /etc/passwd         //先确认匹配正确

# egrep -c '/sbin/nologin$' /etc/passwd           //结合 -c 选项输出匹配的行数

使用 -c 选项可输出匹配行数，这与通过管道再 wc -l的效果是相同的，但是写法更简便。统计使用“/bin/bash”作为登录Shell的正常用户个数：

# egrep -c '/bin/bash$' /etc/passwd

或者

# egrep '/bin/bash$' /etc/passwd | wc -l

 

4）基本元字符 . —— 匹配任意单个字符

以/etc/rc.local文件为例，确认文本内容： 

# cat /etc/rc.local

#!/bin/sh

#

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

 

输出/etc/rc.local文件内至少包括一个字符（\n换行符除外）的行，即非空行：

# egrep '.' /etc/rc.local

 

输出/etc/rc.local文件内的空行（用 –v 选项将条件取反）：

# egrep -v '.' /etc/rc.local      或   # egrep '^$' /etc/rc.local

 

5）基本元字符 +、?、* —— 目标出现的次数

输出包括 f、ff、ff、……的行，即“f”至少出现一次：# egrep 'f+' /etc/rc.local

 

输出包括init、initial的行，即末尾的“ial”最多出现一次（可能没有）：

# egrep 'init(ial)?' /etc/rc.local

 

输出包括stu、stuf、stuff、stufff、……的行，即末尾的“f”可出现任意多次，也可以没有。重复目标只有一个字符时，可以不使用括号：

# egrep 'stuf*' /etc/rc.local

 

输出所有行，单独的“.*”可匹配任意行（包括空行）：  # egrep '.*' /etc/rc.local

 

输出/etc/passwd文件内“r”开头且以“nologin”结尾的用户记录，即中间可以是任意字符：  # egrep '^r.*nologin$' /etc/passwd

 

6）元字符 {} —— 限定出现的次数范围

创建一个练习用的测试文件：

# vim brace.txt

ab def ghi abdr

dedef abab ghighi

abcab CD-ROM

TARENA IT GROUP

cdcd ababab

Hello abababab World

输出包括ababab的行，即“ab”连续出现3次：# egrep '(ab){3}' brace.txt

输出包括abab、ababab、abababab的行，即“ab”连续出现2~4次：

# egrep '(ab){2,4}' brace.txt

输出包括ababab、abababab、……的行，即“ab”最少连续出现3次：

# egrep '(ab){3,}' brace.txt

 

7）元字符 [] —— 匹配范围内的单个字符

输出包括abc、abd的行，即前两个字符为“ab”，第三个字符只要是c、d中的一个就符合条件：  # egrep 'ab[cd]' brace.txt

输出包括大写字母的行，使用[A-Z]匹配连续范围：  # egrep '[A-Z]' brace.txt

输出包括“非空格也非小写字母”的其他字符的行，本例中大写字母和 – 符合要求：

# egrep '[^ a-zA-Z]' brace.txt

 

8）单词边界匹配

输出包括单词“init”的行，文件中“initialization”不合要求：

# egrep '\binit\b' /etc/rc.local

或者：

# egrep '\' /etc/rc.local

输出包括以“ll”结尾的单词的行，使用 \> 匹配单词右边界：

# egrep 'll\>' /etc/rc.local

或者：

# egrep 'll\b' /etc/rc.local

 

9）多个条件的组合

通过dmesg启动日志查看与IDE接口、CDROM光盘相关的设备信息：

# egrep '\|\' /var/log/dmesg

通过dmesg启动日志查看蓝牙设备、网卡设备相关的信息：

# egrep -i 'eth|network|bluetooth' /var/log/dmesg

 

利用正则表达式完成检索任务

1）提取出httpd.conf文件的有效配置行

以RHEL6自带的httpd软件包为例，默认的httpd.conf配置文件内提供了大量的注释信息（# 开头或空几个格再 #），以及一些分隔的空行：

# head  /etc/httpd/conf/httpd.conf  //确认文件内容

# egrep -c ".*" /etc/httpd/conf/httpd.conf     //总行数

# egrep -c "#" /etc/httpd/conf/httpd.conf       //含注释的行数

# egrep -c "^$" /etc/httpd/conf/httpd.conf       //空行的数量

提取有效配置行，也就是说应排除掉注释行、空行，根据上面的结果可得知有效配置行的数量应该是“991-674-95=222”，确认一下：

# egrep -c -v '#|^$'  /etc/httpd/conf/httpd.conf

结合 > 重定向操作，提取httpd.conf的有效配置，将其保存到文件 httpd.conf.min，相关操作如下：

# egrep -v '#|^$'  /etc/httpd/conf/httpd.conf > httpd.conf.min

# head httpd.conf.min          //确认有效配置的前10行

2）匹配MAC地址、邮箱地址、IP地址

以使用ifconfig查看的结果为例，MAC地址的特征是以“:”分隔的6组十六进制数，每组由2个字符组成，比如：

# ifconfig eth0

采用正则表达式匹配“00:0C:29:82:09:E9”形式的MAC地址，可以写成：

[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}   或者：[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}

其中，[0-9a-fA-F]{2} 表示一段十六进制数值，第二种方式的{5}表示连续出现5组前置 : 的十六进制。

因此，若要从ifconfig eth0的输出结果中过滤出包含MAC地址值的行，可以执行以下操作：

# ifconfig eth0 | egrep '[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}'

或者：# ifconfig eth0 | egrep \

'[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}:[0-9a-fA-F]{2}'

根据上述操作结果，稍微扩展一下。利用MAC匹配条件，可以检查一个变量的值是否是合法的MAC地址。参考下列操作：

先定义三个变量：

# MAC01="00:50:56:C0:00:08"

# MAC02="20:68:9D:48:C4:98"

# MAC03="20:69:74:R2:C5:27"              //设一个无效地址

利用正则表达式判断出其中哪个MAC地址是无效的：

# echo $MAC01 | egrep -q \

'[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}' && echo "有效" || echo "无效"

# echo $MAC02 | egrep -q \

'[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}' && echo "有效" || echo "无效"

# echo $MAC03 | egrep -q \

'[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}' && echo "有效" || echo "无效"

3）匹配邮箱地址

电子邮箱地址的特征是“用户名@域名”，主要包括：

用户名与域名之间以 @ 分隔

用户名不少于3个字符，可能由字母、下划线、句点 . 、数字组成

域名应至少有一个 . 分隔，分隔的各部分至少2个字符，可能由字母、减号、数字组成

根据上述特点，编写的正则表达式参考如下：其中域名分隔以“\.”表示，不能表示为 . ，否则会匹配任意单个字符。

[0-9a-zA-Z_.]{3,}@[0-9a-zA-Z.-]{2,}(\.[0-9a-zA-Z-]{2,})+

创建一个测试文件，添加若干行主机名、Email、域名地址：

# vim mailadd.txt

www.tarena.com.cn

mail.163.com

[email protected]

qq.com

www.sina.com.cn

baidu.com

[email protected]

bill@microsoft                          //无效的邮箱地址，用作测试

[email protected]

过滤出上述文件中包含有效Email地址的行：

# egrep '[0-9a-zA-Z_.]{3,}@\

[0-9a-zA-Z.-]{2,}(\.[0-9a-zA-Z-]{2,})+' mailadd.txt

4）匹配主机名

以FQDN（完整主机名）为例，描述其特点：

由 . 分隔，至少包括3组字符串

每组字符串不少于2个字符，可能由字母、减号、数字、下划线组成

主机名后必须是单词边界，主机名前不能有@符号

编写正则表达式参考如下:^[^@][0-9a-zA-Z_-]{2,}(\.[0-9a-zA-Z_-]{2,}){2,}\>

以前面的mailadd.txt文件为例，过滤测试如下所示：

# egrep '^[^@][0-9a-zA-Z_-]{2,}(\.[0-9a-zA-Z_-]{2,}){2,}\>' \

5）匹配IP地址

归纳合法IP地址的特点：

以 . 分隔，一共由四组十进制数构成

每组数值的范围为0-255，字符宽度为1-3位

前后必须是单词边界

编写正则表达式参考如下：

\<[0-9]{1,3}(\.[0-9]{1,3}){3}\>

以过滤出ifconfig命令输出结果中包含IP地址的行为例，过滤测试如下所示：

# ifconfig              //确认原始信息