Shell脚本三剑客之Awk

目录

一、AWK工具介绍

1.1.AWK工作原理

1.2.AWK基本命令格式

1.3 常见的内建变量

二、AWK 命令的使用

2.1打印文本内容

2.2 根据$n提取字段

2.3 awk 的运算

2.4 awk 的高级用法 

---

一、AWK工具介绍

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作。
数据可以来自标准输入也可以是管道或文件。

1.1.AWK工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.2.AWK基本命令格式

awk [选项] '模式条件{操作}' 文件1 文件2...
awk -f 脚本文件 文件1 文件.....

awk包含几个特殊的内建变量如下所示：

FS:指定每行文本的字段分隔符，默认为空格或制表位。
 
NF:当前处理的行的字段个数。
 
NR:当前处理的行的行号(序数)。
 
$0:当前处理的行的整行内容。
 
$n:当前处理行的第n个字段(第n列)。
 
FILENAME:被处理的文件名。
 
RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录，而awk一次仅读入一条记录,以进行处理。预设值是"\n'
简说:数据记录分隔，默认为\n，即每行为一条记录

1.3 常见的内建变量

FS:指定每行文本的字段分隔符，默认为空格或制表位。

NF:当前处理的行的字段个数。

NR:当前处理的行的行号(序数）。

$0:当前处理的行的整行内容。

$n:当前处理行的第n个字段(第n列)。

FILENAME:被处理的文件名。

RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’。

二、AWK 命令的使用

2.1打印文本内容

1.打印 test 文件内容

 

 awk 默认把这一行都看成一列，因为没有被空格分隔，awk默认以 空格 或 tab键 分隔

自定义冒号为分隔符显示分隔之后的第五列

 

用 x 作分隔符

 

 显示一个空格，空格需要用双引号引起来，如果不用引号默认以变量看待，如果是常量就需要双引号引起来，逗号也有空格效果

2.2 根据$n提取字段

$n,代表提取第几列

awk常用内置变量:$1、$2、NF、NR、$0

$1:代长第一列

s2:代表第二列以此类推

s0:代表整行

NE:一行的列数

NR:行数

例：
打印包含root的整行内容

打印包含root的行的第一列

 

 打印包含root的行的第一列和第六列

 打印每一行的列数

显示行号

 

打印整行，并显示行号

 

打印第二行，不加print也一样，默认就是打印 

打印第二行的第一列

 

 打印总行数

 打印文件最后一行

当前行有几列
第几行有几列

 

 

 

网卡的IP，流量

根分区的可用量
 

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END一般用来做汇总操作，仅在读取完数据记录之后执行一次

2.3 awk 的运算

模糊匹配，用 ~ 表示包含，！~ 表示不包含
awk -F: ‘$1~/ro/{pring $2}’ zz ##打印第一列包含ro的行的第二列，以 " : " 分隔
awk -F: ‘$1!~/ro/{pring $2}’ zz ##打印第一列不包含ro的行的第二列，以 " : " 分隔
 

 

打印第一列等于 root 的行 

 

打印第三列大于等于1000的行

 打印第三列小于10，或者第三列大于1000的行

 

 打印行号大于1小于10的整行

把多行合并为一行，输出时以空格分隔每行，可自定义

 

2.4 awk 的高级用法 

awk -v b=“KaTeX parse error: Expected 'EOF', got '#' at position 21: …EGIN{print b}' #̲#将系统的变量a，在awk里赋…a’”}’ ##直接调用需要先用双引号再用单引号
awk -vc=1 ‘BEGIN{print c}’ ##awk直接定义并引用
 

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

 打印第三列小于10的整行

 第三列小于10，打印第二列，否则打印第五列