Shell编程之正则表达式
引言
在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。
一、正则表达式
1、正则表达式概述
- 通常用于判断语句中，用来检查某一字符串是否满足某一格式
- 正则表达式是由普通字符与元字符组成
- 普通字符包括大小写字母、数字、标点符号及一些其他符号
- 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式
Linux 中常用的有两种正则表达式引擎
- 基础正则表达式:BRE
- 扩展正则表达式:ERE
2、基础正则表达式
基础正则表达式是常用的正则表达式部分，常用的元字符及作用如下表所示：
注意 egrep， awk使用{n}、{n,}、{n,m}匹配时“{}"前不用加“\”
egrep -E -n 'wo{2}d' test.txt -E用于显示文件中符合条件的字符
egrep -E -n 'wo{2,3}d' test.txt
3、扩展正则表达式
- 扩展正则表达式是对基础正则表达式的扩充和深化
- 支持的工具有 egerp 和 awk
- 扩展正则表达式元字符
定位符
^ 匹配输入字符串开始的位置
$匹配输入字符串结尾的位置
非打印字符
- \n匹配一个换行符
- \r匹配一个回车符
- \t匹配一个制表符
二、grep命令
grep命令使用正则表达式来搜索文本，并且把匹配的文本打印出来
格式：
grep [options] pattern [file]
option表示选项，pattern表示匹配的模式。file表示一系列文件名。
常用选项：
-c 只打印匹配的文本行的次数，不显示文本内容。
-i 匹配时忽略字母大小写
-h 当搜索多个文件，不显示匹配文件名前缀。
-l 只列出含义匹配的文本行的文件的文件名，不显示其具体匹配的内容。
-n 列出所有匹配的文本行，并显示行号
-s 不显示关于不存在或无法读取文件的错误信息
-v 只显示不匹配的文本行，反向选择，显示与搜索字符串不相符的行。
-w 匹配整个单词
-x 匹配整个文本行
-r 递归搜索，不仅搜索当前目录，还有各级子目录
-E 开启扩展（extend）的正则表达式
--color=auto 可以将找到的关键词部分加上颜色的显示
1、统计包含某个字符的文本行的行数
-c 只打印匹配的文本行的次数，不显示文本内容。
2、不区分大小写查找the所有的行
-i 匹配时忽略字母大小写
3、将非空行写入到文件中
4、过滤出IP地址
三、元字符操作案例
1、查找特定字符
查找出test文件中the的位置，其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符， 字体颜色会变为红色。
2、查找特定集合字符
2.1 查找既有i又有o的特殊字符
想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。
2.2 查找单个重复字符
查找重复字符，例如“oo”时，会显示两个o及两个o以上的行
2.3 查找oo前面不是R开头的行
从后往前看，例如当出现Rooot时，会显示这行，因为从后往前看oo前面还是o，符合条件
2.4 查找oo前面不是大小写字母开头的行
2.5 查找包含数字的行
2.6 查找除大小写字母开头的行
2.7 查找以.结尾的行
3、查找以w开头，以d结尾的行
4、查找连续字符范围“{}”
使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。
4.1 查询2个o的字符
4.2 查询两个字母之间包含多个字符串的行
四、cut、sort、uniq、tr
1、cut-列截取工具
- cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
- 如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一
- cut只擅长于处理单个字符为间隔的文本，-b只能分割字母，-c既可以分割字母也可以分割中文
选项
-b：按字节截取
-c：按字符截取，常用于中文
-d：指定以什么为分隔符截取，默认为制表符
-f：通常和-d一起
1.1 查看/etc/passwd特定列
1.2 查看当前登录用户的第3个字节
cut只擅长于处理单个字符为间隔的文本，-b只能分割字母，-c既可以分割字母也可以分割中文
2、sort-排序工具
sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样。
sort [选项] 参数
常用选项
-t：指定分隔符，默认使用[Tab]键或空格分隔
-k：指定排序区域，哪个区间排序
-n：按照数字进行排序，默认是以文字形式排序
-u：等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功
-r：反向排序，默认是升序，-r就是降序
-o：将排序后的结果转存至指定文件
-f: 忽略大小写，会将小写的字母都转换为大写字母来进行比较
-b: 忽略每行前面的空格
2.1 按字母排序
不加任何选项默认按第一列升序，字母的话就是从a到z由上而下显示
2.2 按数字大小排序，以冒号作为分隔，给第3列排序
2.3 反向排序
2.4 将输结果不在屏幕上输出而是输出到指定文件
2.5 去掉文件中重复的行（-u等同于uniq）
3、uniq-去重工具
主要用于去除连续的重复行
注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重
uniq [选项] 参数
-c：对重复的行进行计数；
-d：仅显示重复行；
-u：仅显示出现一次的行
3.1 统计重复行的次数
3.2 结合sort去重
3.3 查看用户登录的数据
4、tr-修改工具
- 它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符
- 从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。
格式
tr [选项]… SET1 [SET2]
常用选项
-d 删除字符
-s 删除所有重复出现的字符，只保留第一个
4.1 将所有小写改成大写
4.2 字母一一对应替换
4.3 两边字符数量不对等
当两边字符数量不对等时，相同字符只识别后一个，剩下未对应的全是最后替换字符
4.4 字符替换成特殊字符
4.5 删除字符
4.6 对字符去重
五、总结
本文主要讲了基础正则表达式和扩展正则表达式元字符的用法，以及grep命令的用法和四种文本处理器常用的方法，四种文本处理器常用方法包括cut列截取工具、sort排序工具、uniq去重工具和tr修改工具。