shell脚本正则表达式（grep、egrep、sed、awk、sort、uniq、wc、tr）

shell脚本正则表达式

一、正则表达式的定义与用途

【1】正则表达式的定义：

正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说， 是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。正则表达式是由普通字符与元字符组成的文字模式。模式用于描述在搜索文本时要匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。其中普通字符包括大小写字母、数字、标点符号及一些其他符号，元字符则是指那些在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符 前面的字符）在目标对象中的出现模式。在 Linux 系统中常见的文件处理工具中 grep 与 sed 支持基础正则表达式，而 egrep 与 awk 支持扩展正则表达式。

【2】正则表达式的用途：

正则表达式一般用于脚本编程与文本编辑器中。很多文本处理器与程序设计语言均支持正则表达式，例如 Linux 系统中常见的文本处理器（grep、egrep、sed、awk）以及应用比较广泛的 Python 语言。正则表达式具备很强大的文本匹配功能，能够在文本海洋中快速高效地处理文本。
目前很多软件也支持正则表达式，最常见的就是邮件服务器。在 Internet 中，垃圾/广告邮件经常会造成网络塞车，如果在服务器端就将这些问题邮件提前剔除的话，客户端就会减少很多不必要的带宽消耗。而目前常用的邮件服务器 postfix 以及支持邮件服务器的相关分析软件都支持正则表达式的对比功能。将来信的标题、内容与特殊字符串进行对比，发现问题邮件就过滤掉。

二、基础查询工具grep

grep的基本操作

[root@client opt]# grep -n 'the' httpd.conf  //查找the所在的行
2:# This is the main Apache HTTP server configuration file.  It contains the
3:# configuration directives that give the server its instructions.
[root@client opt]# grep -in 'the' httpd.conf //不区分大小写查找
[root@client opt]# grep -vn 'the' httpd.conf  //反向查找不包含the的行
1:#
[root@client opt]# grep -n '[0-9]$' httpd.conf   //查看以数字结尾的行
41:#Listen 12.34.56.78:80
42:Listen 80
95:#ServerName www.example.com:80
316:AddDefaultCharset UTF-8
[root@client opt]# grep -n '[^0-9]$' httpd.conf   //查看不以数字结尾的行
1:#
[root@client opt]# grep -n 'ser..r' httpd.conf  //查看ser开头r结尾的单词
2:# This is the main Apache HTTP server configuration file.  It contains the
3:# configuration directives that give the server its instructions.

三、扩展查询工具egrep

egrep 命令是一个搜索文件获得模式，使用该命令可以搜索文件中的任意字符串和符号，也可以搜索一个或多个文件的字符串，一个提示符可以是单个字符、一个字符串、一个字或一个句子。

egrep的主要操作

[root@client opt]#  egrep '^$|#$' httpd.conf  //过滤出空行或者#号
#
#
#

#
//过滤出以A开头，xyz之后是x的行
[root@client opt]# egrep 'A(xyz)+c' httpd.conf 
[root@client opt]# egrep 'A(xyz)+z' httpd.conf 
[root@client opt]# egrep 'A(xyz)+y' httpd.conf 
[root@client opt]# egrep 'A(xyz)+x' httpd.conf 
Axyzxyzxyyyzc

四、文本处理工具sed

【1】sed命令的概述

sed 是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务。sed 的工作流程主要包括读取、执行和显示三个过程。
（1）读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
（2）执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
（3）显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。
注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

【2】sed命令的用法

通常情况下调用 sed 命令有两种格式，当存在多个操作对象时用，文件之间用逗号“，”分隔；而脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

sed [选项] '操作' 目标文件
sed [选项] -f 脚本文件 目标文件

【3】sed命令的主要选项和操作符

【4】sed常见的操作

统计文件中5-行末的行数，统计5-行末偶数行的行数

[root@client ~]# sed -n '5,$ p' /etc/passwd |wc -l
44
[root@client ~]# sed -n '5,$ {n;p}' /etc/passwd |wc -l
22

在行首添加“#”，在行末添加“EOF”

[root@client ~]# sed 's/^/#/' /etc/passwd
[root@client ~]# sed 's/^#//' /etc/passwd
[root@client ~]#  sed 's/$/EOF/' /etc/passwd
[root@client ~]# sed 's/EOF$//' /etc/passwd

把jack所在的行剪贴到12后面

[root@client ~]# sed '/jack/{H;d};12G' /etc/passwd

五、编辑工具awk

【1】awk命令的概述

awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。
awk 选项 ‘模式或条件 {编辑指令}’ 文件 1 文件 2 … //过滤并输出文件中符合条件的内容
awk -f 脚本文件 文件 1 文件 2 … //从脚本中调用编辑指令,过滤并输出内容
前面提到 sed 命令常用于一整行的处理,而 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。在使用 awk 命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||” 表示“或”、“！”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

【2】awk的操作格式：

awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 …
//过滤并输出文件中符合条件的内容
awk   -f   脚本文件 文件 1 文件 2 …	
//从脚本中调用编辑指令,过滤并输出内容

【3】awk的内建变量

统计可以登陆的用户有多少个

[root@client ~]# grep "bash$" /etc/passwd |wc -l
5
[root@client ~]# grep -c "bash$" /etc/passwd
5
[root@client ~]# awk 'BEGIN{x=0};/\/bin\/bash$/{x++};END{print x}' /etc/passwd
5

调用w命令统计在线用户个数

[root@client ~]# awk 'BEGIN{while("w"|getline)n++;{print n-2}}'
1

【4】通过管道、双引号调用 Shell 命令

awk -F: '/bash$/{print | "wc -l"}' /etc/passwd
//调用wc -l 命令统计使用 bash 的用户个数,等同于 grep -c "bash$" /etc/passwd
awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}}'
//调用w 命令,并用来统计在线用户数
awk 'BEGIN { "hostname" | getline ; print $0}'
//调用hostname,并输出当前的主机名

六、排序工具

在 Linux 系统中，常用的文件排序工具有三种：sort、uniq、wc。sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样。Uniq 工具在 Linux 系统中通常与 sort 命令结合使用，用于报告或者忽略文件中的重复行。wc用于统计文本。

【1】sort工具

sort 命令的语法为：sort [选项] 参数
其中常用的选项包括：
-f：忽略大小写；
-b：忽略每行前面的空格；
-M：按照月份进行排序；
-n：按照数字进行排序；
-r：反向排序；
-u：等同于 uniq，表示相同的数据仅显示一行；
-t：指定分隔符，默认使用[Tab]键分隔；
-o <输出文件>：将排序后的结果转存至指定文件；
-k：指定排序区域。

常见的sort操作

[root@localhost ~]# sort /etc/passwd 
//将/etc/passwd文件进行排序，默认以字母开头进行a-z排序
[root@localhost ~]# sort -t ':' -rk 3 /etc/passwd
//将/etc/passwd 文件中第三列进行反向排序
[root@localhost ~]# sort -t ':' -k 3 /etc/passwd -o user.txt  
//将/etc/passwd文件进行排序并写入到user.txt文件中

【2】uniq工具

uniq命令语法格式为：uniq [选项] 参数。
其中常用选项包括：
-c：进行计数；
-d：仅显示重复行；
-u：仅显示出现一次的行。

常见的uniq操作

[root@localhost ~]# uniq test.txt
//删除重复的行
[root@localhost ~]# uniq -c test.txt
//删除文件中的重复行，并在行首显示该行重复出现的次数。
[root@client opt]# uniq -d test.txt 
the
[root@client opt]# uniq -dc test.txt 
      2 the
//仅显示文件中的重复行
[root@client opt]# uniq -u test.txt 
the 
the12
The243
THE	
[root@client opt]# uniq -uc test.txt 
      1 the 
      1 the12
      1 The243
      1 THE	
//仅显示出现一次的行

【3】wc工具

wc命令的语法格式为：wc [选项]参数
其中常用选项包括：
-c：只显示Bytes数。
-l：只显示行数。
-w：只显示字数。

常见的wc操作

[root@localhost opt]#  wc test.sh 
 6 13 66 test.sh //6行，13个单词，66字节
[root@localhost opt]# wc -l test.sh 
6 test.sh
[root@localhost opt]#  wc -w test.sh 
13 test.sh
[root@localhost opt]#  wc -c test.sh 
66 test.sh

七、tr工具

tr 命令常用来对来自标准输入的字符进行替换、压缩和删除。可以将一组字符替换之后变成另一组字符，经常用来编写优美的单行命令，作用很强大。
tr 具体的命令语法格式为：

tr [选项] [参数]
其常用选项包括:
-c：取代所有不属于第一字符集的字符；
-d：删除所有属于第一字符集的字符；
-s：把连续重复的字符以单独一个字符表示；
-t：先删除第一字符集较第二字符集多出的字符。

常见的tr操作

将文件testfile中的小写字母全部转换成大写字母
[root@localhost opt]# cat testfile |tr a-z A-Z 
压缩文件中的字符
[root@localhost ~]# echo "thissss is a text linnnnnnne." | tr -s 'sn'
this is a text line.
删除文件中的某些字符
[root@localhost ~]# echo 'hello world' | tr -d 'od'
hell wrl