基本正则表达式，扩展的正则表达式详解



1).简单的grep

grep [option] PATTERM [file...]

                #grep 'root' /etc/passwd

        -E:使用扩展正则表达式

        -F:使用固定字符串进行匹配

        -l:列出匹配模式的文件名称，而不是打印匹配的行

        -q:静默模式，匹配grep则成功退出，不匹配则写入标准输出

        -S:不显示错误信息

        -i:忽略字符大小写

        --color：显示颜色

                # alias grep='grep --color'

                # grep  'root' /etc/passwd

        -v :反向查找，显示没有被模式匹配到的行

        -o：只显示被模式匹配到的字符串

 

2).基本正则表达式     

meta字符

.：匹配任意单个字符

        # grep  'r..t' /etc/passwd

*：匹配其前面的字符任意次

        a*b b，aab,  即a出现任意次以后跟一个b

^:锚定行首，此字符后面的任意内容必须出现在行首

        # grep  '^r..t' /etc/passwd    

$:锚定行尾，此字符前面的任意内容必须出现在行尾

        # grep  'w$' /etc/passwd     

        # grep  'r..t$' /etc/passwd    

^...$:整个字符串

^$:   空白行

        # grep  '^$' /etc/passwd  查看空白行

        $ cc -E foo.c | grep -v  '^$' > foo.out

#先使用grep -v显示不匹配的行（即非空白行），重定向到新的文件，从而过滤文件中空白行      

链接：

cc -E :这个选项是相对标准的,它允许修改命令行以使编译程序把预先处理的C文件发到标准输出,而不实际编译代码.

在查看C预处理伪指令和C宏时,这是很有用的.可能的编译输出可重新定向到一个文件,然后用编辑程序来分析:

        $cc -c -E foo.c > foo.out

                #此命令使include文件和程序被预先处理并重定向到文件foo.out.

#以后可以用编辑程序或者分页命令分析这个文件,并确定最终的C语言代码看起来如何.

 

\{n,m\}:匹配其前单个字符重现的次数区间，n-m次，匹配其前的字符至少n次，至多m次

        n与m的值必须介于0至RE_DUP_MAX(含)之间

                $ getconf RE_DUP_MAX 获得值

        \{n\}:重现n次

        \(n,\}:至少重现n次

                \{1,\}  ;至少一次

                \{0.3\} :至多三次

                # grep  'a\{1,3\}b' test.txt

                        ab aab aaab

                # grep  'a.\{1,3\}b' test.txt

                        aab acb amnb amnbnnhb

 

练习1:以abcABCdefDEF匹配

                ^ABC 不匹配

                def 匹配

                def$ 不匹配

                [[:upper:]]\{3\} 匹配，居中456ABC匹配

                [[:upper:]]\{3\}$ 匹配，结尾DEF匹配

                ^[[:alpha:]]\{3\} 匹配，起始abc匹配

       

.*:任意长度的任意字符             

                # a.*b a开头b结束中间任意

        贪婪模式：默认情况下正则表达式工作在贪婪模式，尽可能长匹配

 

？：匹配其前面的字符一次或0次

        部分符合也可以

                a?b

                b ,ab ,aab,acb,adb,ammb,annnbnnhbnb

 

|:匹配于|符号前或后的正则表达式

+：匹配前面正则表达式的一个或多个实例

():匹配括号中内容

[.与.]:排序，给予成组的项目排列顺序的操作，

                如假定[.cd.]存在，则[ab[.cd.]ef]匹配a,b,e,f,以及成对出现的cd

[=与=]：等价字符集，让不同字符集在匹配时视为相同字符集

                如French的locale下，可能有[=e=]这样的等价字符集，

                则[Fi[=e=]ld]就等同于所有小写英文字母元音，以及字母è、é等

 

\<或者\b:锚定词首，其后面的任意字符必须作为单词首部出现

\>或者\b:锚定词尾，其前面的任意字符必须作为单词尾部出现            

        # grep " \" test.txt

 

后向引用：匹配于正则表达式匹配的先前的部分

①. 将子表达式包围在 \( 和 \) 里，单个模式里最多可包含9个子表达式，且可为嵌套结构

②.在同一个模式之后使用 \digit, 数字digit介于1至9个数字。

        指的是匹配于第n个先前方括号内子表达式匹配成功的字符       

\(\) ：后向引用

        \1:引用第一个左括号以及与之对应的右括号所包括的所有内容

                # grep  '\(l..e\).*\1' test3.txt 匹配一个或多个l..e

                # grep  '\([0-9]).*\1$' /etc/passwd       任意数字 相同数字结尾

        \(ab\)\(cd\)[def]*\2\1  abcdcdab、 abcdeeecdab、 abceddeefffcdab、....

        \(why\).*\1 :表示一行里重现两个why

        \([“ ’].*\1:表示匹配以单引号或双引号括起来的字，例如"bar"或者'foo'

        e\(ch\)o.*\1表示，当遇到echo时，把ch保存在内存中，并编号为1，之后，

                                可以有0个或者多个字符。当再遇到ch时，匹配到一个。

#grep "\( [\"\'] \).*\1" junk  可以匹配"'How are you'" #先双引号，再单引号和'"How are you"'  #先单引号，再双引号   

               

[]:匹配指定范围内的任意单个字符

[^]:匹配指定范围之外的任意单个字符  

 

字符集合

        [[:blank:]] 空格（space）与定位（tab）字符

        [[:cntrl:]] 控制字符

        [[:graph:]] 非空格（nonspace）字符

        [[:space:]]        所有空白字符

        [[:print:]] 可显示的字符

        [[:xdigit:]] 十六进制数字

        [[:punct:]] 所有标点符号

        [[:lower:]] 小写字母

        [[:upper:]] 大写字母

        [[:alpha:]] 大小写字母

        [[:digit:]] 数字

        [[:alnum:]] 数字和大小写字母

                # grep  '[[:space:]][[:digit:]]$' /etc/passwd 

                        以空格数字结尾

 

注意:排序元素、等价字符集以及字符集，都仅在方括号表达式的方括号内才被认可，也即是说，[:alpha:]这样的正则表达式，匹配字符为a、l、p、h、a以及:，

表达所有英文字母的正确写法应为[[:alpha:]]       

 

 

BRE运算符优先级 由高到低

运算符  

表示意义

[..]  [= =]  [::]

用于字符排序的方括号符号

\metacharacter

转义的meta字符

[]     

方括号表达式

\(\)  \digit

子表达式与后向引用

* \{ \}      

前置单个字符重现的正则表达式

无符号 (no symbol)

连续

^  $              

锚点（Anchors)

 

 

练习2：

1.通过管道过滤ls -l输出的内容，只显示以abc开头的行。

$ ls -l | grep '^abc'

2.显示所有以d开头的文件中包含test的行。

$ grep 'test' d*

3.显示在aa，bb，cc文件中匹配test的行。

$ grep 'test' aa bb cc

4.显示aa文件中所有包含每个字符串至少有5个连续小写字符的字符串的行。

$ grep '[a-z]\{5\}' aa

5.如果Field被匹配，则ie就被存储到内存中，并标记为1，然后搜索任意个字符（.*），

这些字符后面紧跟着另外一个ie（\1），找到就显示该行。

$ grep 'F\(ie\)id.*\1' aa                 #如果用egrep或grep -E，就不用双引号进行转义，直接写成'F(ie)ld.*\1'就可以了。   

6.查找当前系统上名字为student（必须出现在行首0的用户的账号的相关信息，文件为/etc/passwd

$ grep'^student' /etc/passwd | cut -d: -f3

id -u student                   

                链接：

                /etc/passwd 下的文件

                [gz_field@gimei3 ~]$ cat /etc/passwd

                root:x:0:0:root:/root:/bin/bash

                bin:x:1:1:bin:/bin:/sbin/nologin

                account：登录名

                password；密码 密码不在这放 而在 /etc/shadow

                UID：用户ID号

                GID：基本组ID

                comment 用户的注释信息 全名等信息

                HOME DIR：家目录

                SHELL:用户默认shell   

7.分析/etc/inittab文件中如下文本中前两行的特征（每一行中出现的数字必须相同），

请写出精确找到类似两行的模式

11:1：wait:/etc/rc.d/rc 1              

13:3：wait:/etc/rc.d/rc 3                      

# grep '^1\([0-9]\):1.*\1$' /etc/inittab

 

4).扩展的正则表达式(Extended Regular Expression, ERE)

⑴匹配单个字符时，基本同BRE

awk中存在一个例外，其\符号在方括号内表示其他的含义

若需匹配左方括号、连字符、右方括号或是反斜杠，则需使用[\[\-\]\\]

⑵不存在后向引用

⑶、匹配单个表达式与多个正则表达式

        区间表达式{} 不需要前置反斜杠字符

                a{5} 刚好重现五个a ， b{5,10}重现五到十个b

        ？ 匹配0个或一个前置正则表达式

                ab?c  -->ac 或者abc

        +  匹配一个或多个前置正则表达式

                ab+c  -->abc,abbc,abbbc...不匹配ab

⑷、交替运算符| ：匹配与这个序列，或者其他序列，或者...

                qqq|www|eee|rrr|ttt|...

        |与^,$结合使用，实现分组

                ^abcd|efgh$ 匹配字符串起始处是否有abcd,或者结尾处是否有efgh

                ^(abcd|efgh)$ 找一个正是abcd或者正是efgh的字符串

⑸、ab^cd,ef$gh 在扩展正则表达式仍然适用，无法匹配到任何东西

 

ERE运算符优先级 由高到低

运算符  

表示意义

[..]  [= =]  [::]

用于字符排序的方括号符号

\metacharacter

转义的meta字符

[]     

方括号表达式

\(\)  \digit

子表达式与后向引用

* \{ \}      

前置单个字符重现的正则表达式

无符号 (no symbol)

连续

^  $              

锚点（Anchors)

 

 

 

5).正则表达式的扩展

额外的GNU正则表达式运算符

运算符

含义

\w:

任何单词组成字符，相当于[[:alnum:]_]

\W:

任何非单词组成字符，相当于[^[:alnum:]_]      

\<\>:

匹配单词的起始与结尾

\B:

匹配两个单词组成字符之间的空字符串

\b:

匹配单词的起始或结尾处所找的的空字符串，这是\<与\>运算符的结合

由于awk使用\b表示后退字符，所以GNU awk使用|y表示此功能

\'   \`

分别匹配emacs缓冲区的开始与结尾。GNU程序与emacs通常视为与^$同义

 

6).程序与正则表达式

UNIX程序及其正则表达式类型

类型

grep

sed 

ed

ex/vi

more

egrep

awk

lex

BRE 

√   

√   

√   

√   

√   

 

 

 

ERE

 

 

 

 

 

√   

√   

√   

\<  \>

√   

√   

√   

√   

√