Shell脚本的Awk

目录

1.什么是awk

2.工作原理

3.处理动作

4.选项

5.处理模式

---

1.什么是awk

读取一行处理一行，

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。而awk比较倾向于将一行分成多个字段然后进行处理。AWK信息的读入也是逐行

指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互

的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。

2.工作原理

 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。

格式：

awk [options]   'program' var=value   file…

举例：取出sda硬盘的容量
[root@pc1 data]#lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   60G  0 disk 
├─sda1            8:1    0    2G  0 part /boot
└─sda2            8:2    0   54G  0 part 
  ├─centos-root 253:0    0   50G  0 lvm  /
  └─centos-swap 253:1    0    4G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
sdc               8:32   0   20G  0 disk 
sdd               8:48   0   20G  0 disk 
sr0              11:0    1  4.2G  0 rom  
[root@pc1 data]#lsblk  |grep -w sda       #通过过滤sda字符将sda此行过滤出
sda               8:0    0   60G  0 disk 
[root@pc1 data]#lsblk  |grep -w sda | awk '{print $4}' #使用awk不指定分隔符 打印出第4列
60G

3.处理动作

①基本格式：awk  [选项]   '处理模式{处理动作}'

②print动作：打印，打印'{print $1}'即为打印第一列，'{print $n}'即打印为第n列，'{print $n,$m}'即为打印第n列和第m列。

③print打印顺序：'BEGIN{print "1"} END {print  "2"}  {print "3"} '，首先打印BEGIN后的print 1,然后打印print 3  最后打印END后的print 2，BEGIN表示第一个打印，END表示最后打印

举例1：
[root@pc1 data]#cat test.txt           #创建文件
1     2    3     4      5      6  7 8  @test.txt 文件内容
[root@pc1 data]#awk '{print $1}' test.txt  #使用awk处理文件test.txt打印第1列
1
[root@pc1 data]#awk '{print $5}' test.txt  #使用awk处理文件test.txt打印第5列
5
[root@pc1 data]#awk '{print $1,$5}' test.txt  #使用awk处理文件test.txt打印第1列和第5列
1 5
 
举例2：
[root@pc1 data]#  awk 'BEGIN{print "1"} END{print "$2"} {print "3"}' test.txt
1
3
2

4.选项

①基本格式：awk  [选项]   '处理模式{处理动作}'

②选项若不写默认为以空格为分隔符处理，且会将空格自动压缩。

③-F 选项 指定分隔符，即指定以什么为分隔符处理内容

举例：
[root@pc1 data]#cat test.txt         #编辑test.txt内容
one    two   three
root:lisi:zhangsan
[root@pc1 data]#awk '{print $2}' test.txt  #默认过滤test内容以空格为分隔符打印出第2列为two
two
[root@pc1 data]#awk -F : '{print $2}' test.txt #使用-F选项指定以:为分隔符打印出第2列为lisi
 
lisi

5.处理模式

①基本格式：awk  [选项]   '处理模式{处理动作}'

②处理模式为空表示无其他额外条件。

③正则表达式匹配模式

正则匹配：与正则表达式配合使用。

举例：
[root@pc1 data]#cat test.txt      #创建test.txt
root 1   abc  2    3     4      5      6  7 8
abcd
 
sadfasdf root
[root@pc1 data]#awk   '/^root/{print $2}' test.txt #使用awk配合正则表达式打印出test.txt文件中以root为开头的行的第二列，注意处理模式在固定格式'{}'的单引号中 
1                                 #匹配出的内容
[root@pc1 data]#awk   '/^root/，/root$/{print $2}' test.txt  #使用awk配合正则表达式打印出test.txt文件中以root为开头的且以root结尾的第二列，注意处理模式在固定格式'{}'的单引号中
1
 
 
root                               #匹配出的内容

5、awk常见的内置变量 

比较操作符：==, !=, >, >=, <, <=

逻辑操作符：&&与 并且的关系，||或 或者关系，!非 取反关系

①FS :指定每行文本的字段分隔符，缺省为空格或制表符（tab）。与 “-F”作用相同 -v "FS=:"

[root@pc1 data]#cat a.txt 
a:b:c
[root@pc1 data]#awk -v "FS=:" '{print $2}' a.txt  使用FS变量指定：为分隔符打印a.txt文件的第二列
b

②OFS：输出时的分隔符

[root@pc1 data]#cat a.txt 
a:b:c
[root@pc1 data]#awk -v "FS=:"  -v OFS="==" '{print $1OFS$3}' a.txt  使用FS变量指定：为分隔符且指定输出分隔符OFS为==，打印a.txt文件的第1列和第3列
a==b

③NF：当前处理的行的字段个数即处理行有多少列，默认按空格分列，可指定。

举例
awk -F : '{print NF}'  /etc/passwd  |head -n 1
#指定:为分隔符打印出文件/etc/passwd第一行有多少个字段，即多少列
7
awk -F : '{print $(NF-1)}'  /etc/passwd |head -n 1 
#指定:为分隔符打印出文件/etc/passwd第一行的倒数第二个字段，即倒数第二列
/root

④NR：当前处理的行的行号（序数）

举例
awk -F :   'NR==1{print $1}'  /etc/passwd
#指定:为分隔符打印出/etc/passwd文件第一行的第一个变量，注意模式要写在'模式{}'位置
root                       
awk -F :   'NR>=1 && NR<=3{PRINT $1}' /etc/passwd
#指定:为分隔符打印出/etc/passwd文件大于等于第一行且小于等于第三行的第三个变量
root
bin
daemon

⑤$0：当前处理的行的整行内容

举例
awk -F : 'NR==1{print $0}' /etc/passwd
#指定:为分隔符打印出文件/etc/passwd第一行的所有内容
root:x:0:0:root:/root:/bin/bash
awk -F : 'NR>=1 && NR<=3{print $0}' /etc/passwd
#指定:为分隔符打印出文件/etc/passwd大于等于第一行且小于等于第三行的所有内容
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

⑥$n：当前处理行的第n个字段（第n列）

⑦FILENAME:被处理的文件名

⑧RS：行分隔符。awk从文件上读取资料时，将根据RS的定义就把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是\n