Shell脚本三剑客之awk

目录

一、AWK工具介绍

1.1.AWK工作原理

1.2.AWK基本命令格式

二、实例

（一）简单的awk实例

（二）awk常用内置变量 

（三）BEGIN、END的用法

（四）模糊匹配，用~表示包含，!~表示不包含

（五）关于数值与字符串的比较

（六）其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

（七）AWK的高级用法

（1）定义引用变量

---

一、AWK工具介绍

• AWK是一种处理文本文件的语言，是一个强大的文本分析工具。
• 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作。
• 数据可以来自标准输入也可以是管道或文件。

1.1.AWK工作原理

• 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.2.AWK基本命令格式

awk [选项] '模式条件{操作}' 文件1 文件2...
awk -f 脚本文件 文件1 文件.....

awk包含几个特殊的内建变量如下所示：

FS:指定每行文本的字段分隔符，默认为空格或制表位。
 
NF:当前处理的行的字段个数。
 
NR:当前处理的行的行号(序数)。
 
$0:当前处理的行的整行内容。
 
$n:当前处理行的第n个字段(第n列)。
 
FILENAME:被处理的文件名。
 
RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录，而awk一次仅读入一条记录,以进行处理。预设值是"\n'
简说:数据记录分隔，默认为\n，即每行为一条记录

二、实例

（一）简单的awk实例

①打印磁盘使用情况的第一列。

②打印账号管理文件的一些操作。

 

 

 

（二）awk常用内置变量 

$1：代表第一列
 
$2：代表第二列以此类推
 
$0：代表整行
 
NF：一行的列数
 
NR：行数

实例：

①打印包含root的整行内容。

 ②打印包含root行的第一列。

 ③打印包含root行的第一列和第六列。

④打印每一行的列数。

 

  ⑤显示行号。

⑥显示行号和整行内容。

 

 ⑦打印第二行，不加print也一样，默认就是打印。 

 ⑧打印第二行的第一列。

 ⑨打印第二行的最后一列。

 

 ⑩打印总行数。

11.打印文件最后一行。 

 12.打印第几行有几列。

13.扩展生产：网卡的ip、流量。

（三）BEGIN、END的用法

• 逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END。
• BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次。
• END一般用来做汇总操作，仅在读取完数据记录之后执行一次。

（四）模糊匹配，用~表示包含，!~表示不包含

（五）关于数值与字符串的比较

比较符号：==     !=     <=     >=     <     >

[root@yy ~]#awk 'NR==5{print}' /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
 
[root@yy ~]#awk 'NR==5' /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
 
[root@yy ~]#awk 'NR<5' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:l:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
 
[root@yy ~]#awk -F: '$3==0' /etc/passwd
root:x:0:0:root:/root:/bin/bash
 
[root@yy ~]#awk -F: '$1=="root"' /etc/passwd//精确匹配一定是root
root: x:0:0:root:/root:/bin/bash
 
[root@yy ~]#awk -F: '$3>=1000' /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFs User:/var/lib/nfs:/sbin/nologin
zuoye:x:1002:1000:zuoye:/home/zuoye:/bin/bash

 逻辑运算   &&   ||

案例：

awk -F: '$3<10 || $3>=1000'  /etc/passwd
 
awk -F: '$3>10 && $3<1000'  /etc/passwd
 
awk -F: 'NR>4 && NR<10'  /etc/passwd

（六）其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

FS：输入字段的分隔符 默认是空格
OFS：输出字段的分隔符 默认也是空格
FNR：读取文件的记录数（行号），从1开始，新的文件重新重1开始计数
RS：输入行分隔符  默认为换行符
ORS：输出行分隔符  默认也是为换行符

案例：

①在打印之前定义字段分隔符为冒号

②打印出第一列和第二列，中间以“-----”符合进行隔开。

③可以看出FNR的行号在追加当有多个文件时。

 注意：NR在计算第二个文件行数时，不会重新从1开始计数

 ④以原文件的每一行的“：”为分隔符进行输出文件内容。

 ⑤把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键

（七）AWK的高级用法

（1）定义引用变量

[root@localhost ~]# a=100
[root@localhost ~]# awk -v b="$a" 'BEGIN{print b}'   //将系统的变量a，在awk里赋值为变量b，然后调用变量b
100
[root@localhost ~]# awk 'BEGIN{print "'$a'")'        //直接调用的话需要先用双引号再用单引号
10
[root@localhost ~]# awk -vc=1 'BEGIN{print c}'       //awk直接定义变量并引用
1

 

 

 

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行
[root@yy ~]# df -h | awk 'BEGIN{getline}/sda3/{print $0}'
/dev/sda3        96G  4.7G   91G    5% /


[root@yy ~]# seq 10 | awk '{getline;print $0}'   //显示偶数行
2
4
6
8
10
[root@yy ~]# seq 10 | awk '{print $0;getline}'   //显示奇数行
1
3
5
7
9

 

 if语句：awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}

[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd    //第三列小于10的打印整行

[root@localhost ~]# awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd    //第三列小于10的打印第三列，否则打印第一列

 

awk还支持for循环、while循环、函数、数组等