Shell正则表达式文本处理三剑客-----awk

一、概述

1.产品概述：

awk是一种编程语言，用于在linux/unix下对文本和数据进行扫描与处理。数据可以来自标准输入、文件、管道

awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Peter Weinberger、Brian Kernighan

实际上awk有很多种版本，如：awk、nawk、mawk、gawk、MKS awk、tawk… 这其中有开源产品也有商业产品

目前在Linux中常用的awk编译器版本有mawk,gawk，其中以RedHat为代表使用的是gawk，以Ubuntu为代表使用的是mawk
gawk是GNU Project 的awk解释器的开源代码实现
本文将以gawk作为讲解工具

2.原理：
1). awk逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，并在这些行上进行你想要的操作。
2). awk基本结构包括模式匹配(用于找到要处理的行)和处理过程(即处理动作)。
pattern {action}
3). awk有两个特殊的模式：BEGIN和END，他们被放置在没有读取任何数据之前以及在所有数据读取完成以后执行。

3.awk流程图：

如This is a test file. 将分割为5个字段，awk可以对这5个字段进行分别处理。

二、awk基本语法格式
1.awk 常见用法
通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。

awk 选项 ‘模式或条件 {编辑指令}’ 文件 1 文件 2 //过滤并输出文件符条件的内容
awk -f 脚本文件 文件 1 文件 2 //从脚本中调用编辑指令,过滤并输出内容

2.简单示例：
示例：
awk -F ‘:’ ‘{print $1,$3,$4}’ /etc/passwd
备注：读取输入行并输出第一个字段，第二个字段，第三个字段。

echo hello the world | awk ‘{print $0}’
备注：读取输入行并输出该行。

echo hello the world | awk ‘{print NF}’
备注：读取输入行并输出该行的字段个数：3个字段。

echo hello the world | awk ‘{print $ NF}’
备注：读取输入行并输出该行的第三个字段，因为NF为3，所以$NF等同于取行的最后一个字段。

3.字段分隔符

默认awk读取数据以空格或制表符作为分隔符，但可以通过-F或FS(field separator)变量来改变分隔符。
示例：
awk -F : ‘{print $1}’ /etc/passwd
awk ‘BEGIN {FS = “:”} {print $1}’ /etc/passwd
备注：以上两个示例均将字段的分隔符改冒号( : )，即以冒号为分隔符打印passwd文件的第一个字段(帐号名称)。
注意：如果使用FS改变分隔符的话，需要在BEGIN处定义FS，因为在读取第一行前就需要改变字段分隔符。
进阶：指定多个字段分隔符(文档内容为：hello the:word,!)

awk 包含几个特殊的内建变量（可直接用）如下所示：
FS：指定每行文本的字段分隔符，默认为空格或制表位（tab）
NF：当前处理的行的字段个数
NR：当前处理的行的行号（序数）
$0：当前处理的行的整行内容
$n：当前处理行的第 n 个字段（第 n 列）
FILENAME：被处理的文件名
RS：数据记录分隔，默认为\n，即每行为一条记录

4.用法示例
1）按行输出文本

awk ‘{print}’ /etc/passwd //输出所有内容,等同于 cat /etc/passwd
awk ‘{print $ 0}’ /etc/passwd //输出所有内容,等同于 cat /etc/passwd
awk ‘NR== 1,NR== 3{print}’ /etc/passwd //输出第 1~3 行内容
awk ‘(NR>=1) && (NR<=3){print}’ /etc/passwd //输出第 1~3 行内容
awk ‘NR== 1 || NR== 3{print}’ /etc/passwd //输出第 1 行、第 3 行内容
awk ’ (NR%2) = = 1{print} ’ /etc/passwd //输出所有奇数行的内容
awk ‘(NR%2 )== 0{print}’ /etc/passwd //输出所有偶数行的内容
awk ‘/^root/{print}’ /etc/passwd //输出以root 开头的行
awk ‘/nologin$ /{print}’ /etc/passwd//输出以 nologin 结尾的行
awk ‘BEGIN {x=0} ; //bin/bash$ /{x++};END {print x}’ /etc/passwd
//统计以/bin/bash 结尾的行数,等同于 grep -c “/bin/bash$” /etc/passwd
awk ‘BEGIN{RS=""};END{print NR}’ /etc/squid/squid.conf
//统计以空行分隔的文本段落数

实例：
输出第 1~3 行内容

输出以root 开头的行
输出以bash 结尾的行

统计以/bin/bash 结尾的行数

2）按字段输出文本

awk ‘{print $3}’ test.txt //输出每行中(以空格或制表位分隔)的第 3 个字段
awk ‘{print $1,$3}’ test.txt //输出每行中的第 1、3 个字段
awk -F “:” ‘$2==""{print}’ /etc/shadow //输出密码为空的用户的shadow 记录
awk ‘BEGIN {FS=":"}; $2==""{print}’ /etc/shadow //输出密码为空的用户的shadow 记录
awk -F “:” ‘$7~"/bash"{print $1}’ /etc/passwd
//输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段
awk ‘($1~“nfs”)&&(NF==8){print $1,$2}’ /etc/services
//输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段
awk -F “:” ‘($7!="/bin/bash")&&($7!="/sbin/nologin"){print}’ /etc/passwd
//输出第 7 个字段既不为/bin/bash 也不为/sbin/nologin 的所有行

实例：
输出以冒号分隔的第1个字段

输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段

3）通过管道、双引号调用 Shell 命令

awk -F: ‘/bash $ /{print | “wc -l”}’ /etc/passwd
//调用wc -l 命令统计使用bash 的用户个数,等同于 grep -c “bash$” /etc/passwd
awk ‘BEGIN {while (“w” | getline) n++ ; {print n-2}}’
//调用w 命令,并用来统计在线用户数
awk ‘BEGIN { “hostname” | getline ; print $0}’
//调用hostname,并输出当前的主机名