Linux ---- Shell编程之正则表达式

一、正则表达式

​         由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）不表示字符字面意义，而表示控制或通配的功能，类似于增强版的通配符功能，但与通配符不同，通配符功能是用来处理文件名，而正则表达式是处理文本内容中字符。

作用：匹配文件中的内容

本质：学习各种各样的元字符并记住这个元字符的含义

1、正则表达式概述

• 通常用于判断语句中，用来检查某一字符串是否满足某一格式
• 正则表达式是由普通字符与元字符组成
• 普通字符包括大小写字母、数字、标点符号及一些其他符号
• 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式

1.Linux 中常用的有两种正则表达式引擎

• 基础正则表达式:BRE
• 扩展正则表达式:ERE

文本处理工具	基础正则表达式	扩展正则表达式
vim  编辑器	支持	\
grep	支持	\
egrep	支持	支持
sed	支持	\
awk	支持	支持

2.正则表达式搜索：

• 元字符：预定义好的具有特殊含义的符号，这些符号能够进行通配
• 可读性非常的差
• 写正则表达式不难

3.部分元字符区别对待：

扩展正则中这些元字符剋直接使用：？、+、{ 、}、| 、（和）。

基础正则中这些元字符需要加反斜线表示转义：\? 、\+ 、 \{  、\}、\| 、\( 和 \)。

grep  sed默认使用基础正则表达式

grep -E 、sed  -r 、 egrep、awk扩展正则表达式

2、基础正则表达式

基础正则表达式是常用的正则表达式部分，常用的元字符及作用如下表所示：

元字符	作用
\	转义字符，用于取消特殊符号的含义，如：\！，\n
^	匹配字符串开始的位置，如：^world匹配以world开头的行
$	匹配字符串结束的位置，如：world$匹配以world结尾的行
.	匹配除\n(换行)之外的任意的1个字符
*	匹配前面子表达式0次或着多次
[list]	匹配list列表中的一个字符，如：[0-9]匹配任意一位数字
[^list]	匹配任意不在list列表中的1个字符，如：[0-9]匹配任意一位非数字字符
\ {n\}	匹配前面的子表达式n次，如：[0-9]{2\}匹配两位数字
\ {n.\}	匹配前面的子表达式不少于n次，如：[0-9]\{2,\}表示两位及两位以上数字
\{n,m\}	匹配前面的子表达式n到m次，如：[a-z]\{2,3\}匹配两到三位的小写字母

注意 egrep， awk使用{n}、{n,}、{n,m}匹配时“{}"前不用加“\”

 基本的正则元字符

下面哪些会显示高亮

   egrep -E -n 'wo{2}d' test.txt   -E用于显示文件中符合条件的字符
   egrep -E -n 'wo{2,3}d' test.txt

3、扩展正则表达式

• 扩展正则表达式是对基础正则表达式的扩充和深化
• 支持的工具有 egerp 和 awk
• 扩展正则表达式元字符

元字符	作用
+	匹配前面子表达式1次以上，如：go+d，将匹配至少一个o
？	匹配前面子表达式0次或着1次，如：go?d，将匹配gd或god
()	将括号中的字符串作为一个整体，如g(oo)+d，将匹配整体1次以上，如good，goooood等
|	以或的方式匹配字条串，如：good | great，将匹配good或着great

1.定位符

• ^ 匹配输入字符串开始的位置
• $匹配输入字符串结尾的位置

2.非打印字符

• \n匹配一个换行符
• \r匹配一个回车符
• \t匹配一个制表符

二、grep命令

grep命令使用正则表达式来搜索文本，并且把匹配的文本打印出来

格式：

grep [options] pattern [file]
 
option表示选项，pattern表示匹配的模式。file表示一系列文件名。

常用的选项：

-c  只打印匹配的文本行的次数，不显示文本内容。
 
-i   匹配时忽略字母大小写
 
-h  当搜索多个文件，不显示匹配文件名前缀。
 
-l   只列出含义匹配的文本行的文件的文件名，不显示其具体匹配的内容。
 
-n  列出所有匹配的文本行，并显示行号
 
-s   不显示关于不存在或无法读取文件的错误信息
 
-v   只显示不匹配的文本行，反向选择，显示与搜索字符串不相符的行。
 
-w  匹配整个单词
 
-x   匹配整个文本行
 
-r   递归搜索，不仅搜索当前目录，还有各级子目录
 
-E   开启扩展（extend）的正则表达式
 
--color=auto 可以将找到的关键词部分加上颜色的显示

1、统计包含某个字符的文本行的行数

-c 只打印匹配的文本行的次数，不显示文本内容。

2、不区分大小写查找the所有的行

-i 匹配时忽略字母大小写

3、将非空行写入到文件中

4、过滤ip地址

三、元字符操作案例

1、查找特定字符

查找出passwd文件中the的位置，其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符， 字体颜色会变颜色。

2、查找特定集合字符

1. 查找既有i又有o的特殊字符

想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。

2. 查找单个重复字符

查找重复字符，例如“oo”时，会显示两个o及两个o以上的行

3. 查找oo前面不是R开头的行

从后往前看，例如当出现Rooot时，会显示这行，因为从后往前看oo前面还是o，符合条件

4. 查找oo前面不是大小写字母开头的行

5. 查找包含数字的行

6. 查找除大小写字母开头的行

7.查找以.结尾的行

8.查找以w开头，以d结尾的行

4、查找连续字符范围 "{}"

使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。

 1.查询2个o的字符

2.查询两个字母之间包含多个字符串的行