shell脚本之awk命令

1. awk的用法

语法格式:awk [选项] ‘指令’ 操作文件

常用选项:

-F: 指定分隔符,分隔符用""引起来

-v:var=value在awk程序开始之前指定一个值valu给变量var,这些变量值用于awk程序的BEGIN快

-f:后面跟一个保存了awk程序的文件,代替在命令行指定awk程序

2、实例1:在命令行直接输入awk指令

2.1、准备一个1.txt文件,内容如下

shell脚本之awk命令_第1张图片

 

2.2、逐行读取文件1.txt内容并打印

  命令:awk '{print}' 1.txt 

[dhapp@conch01 shell]$ awk '{print}' 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$

 2.3、逐行读取文件内容,并打印该行,$0保存的是当前行的内容

 命令:awk ‘{print $0}’ 1.txt

[dhapp@conch01 shell]$ awk '{print $0}' 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$

上面标示awk对字段(列)的提取,如下:

字段提取:提取一个文本中的一列数据并打印输出

字段相关内置变量

  • $0 表示整行文本
  • $1 表示文本行中的第一个数据字段
  • $2 表示文本行中的第二个数据字段
  • $N 表示文本行中的第N个数据字段
  • $NF 表示文本行中的最后一个数据字段
[dhapp@conch01 shell]$ awk '{print $1}' 1.txt
123
123
345
12345
765
[dhapp@conch01 shell]$ awk '{print $2}' 1.txt
abc
cdf
ewr
dsa
sdfv
[dhapp@conch01 shell]$

注意:在不指定分割符的情况下,awk默认使用空白做分割符

2.4、为分隔符打印/etc/passwd文件的第一例内容

命令:awk -F ":" '{print $1}' passwd

[dhapp@conch01 shell]$ awk -F ":" '{print $1}' passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
rpc
rpcuser
nfsnobody
postfix
chrony
sshd
vagrant
clickhouse
dhapp
ntp
[dhapp@conch01 shell]$

3、将awk指令写入文件,通过-f选项调用

3.1、创建一个awkscript文件

[dhapp@conch01 shell]$ vim awkscript
[dhapp@conch01 shell]$ cat awkscript
BEGIN {

FS=":"

}

{print $1}
[dhapp@conch01 shell]$

3.2、通过调用awk指令文件来执行awk命令

命令:awk -f awkscript passwd

[dhapp@conch01 shell]$ awk -f awkscript passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
rpc
rpcuser
nfsnobody
postfix
chrony
sshd
vagrant
clickhouse
dhapp
ntp
[dhapp@conch01 shell]$

4、awk的BEGIN块和END块

BEGIN用于初始化FS变量(列分隔符),打印标题,或者初始化后需要在程序中调用的全局变量

END用于执行最后的运算或者打印最终的输出结果

END块和BEGIN不是必须的

5、在awk中使用正则匹配,正则表达式必须要放在//中

5.1、打印1.txt中匹配123的那一行内容

命令:awk ‘/123/{print}’ 1.txt

[dhapp@conch01 shell]$ cat 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$ awk '/123/{print}' 1.txt
123 abc
123 cdf
12345 dsa
[dhapp@conch01 shell]$

5.2、以" "为分隔符打印1.txt中匹配123的那一行中,第二列的内容

命令:awk -F " " '/123/{print $2}' 1.txt

[dhapp@conch01 shell]$ awk -F " " '/123/{print $2}' 1.txt
abc
cdf
dsa
[dhapp@conch01 shell]$

5.3、打印passwd中,第一列匹配root的行其第二列的内容 ~表示匹配

命令:awk -F ":" '$1 ~ /root/{print $2}' /etc/passwd

[dhapp@conch01 shell]$ awk -F ":" '$1 ~ /root/{print $2}' /etc/passwd
x
[dhapp@conch01 shell]$

6、awk的表达式和块

awk提供了多个比较操作符:"==" “>” “<” “<=” “>=” “!=” "~"匹配 "!~"不匹配

6.1、以":"为分隔符,打印/etc/passwd中第一列是root的行其第3列的内容

命令:awk 'BEGIN { FS=":"} $1 == "root" { print $3 }' passwd

shell脚本之awk命令_第2张图片

 7、awk中的条件语句

7.1、以":“为分隔符,打印/etc/passwd文件中第一列匹配root的行,其第二列的内容

命令:awk ‘BEGIN {FS=":"} {if ($1 ~ “root”) {print $2}}’ /etc/passwd

shell脚本之awk命令_第3张图片

7.2、以":"为分隔符,打印1.txt文件中,第一列匹配linux或者第二列匹配Network的行,其第三列的内容

命令:awk 'BEGIN {FS=”:"} ($1 ~ “linux” || $2 ~ “Network”) {print $3}’ 1.txt 

在这里插入图片描述 

7.3、 统计匹配ock的行有多少列

在awk中NF变量记录的是当前行中有多少列(默认是空格为分割符) 

命令:awk ‘/ock/{print NF}’ 1.txt 

shell脚本之awk命令_第4张图片

7.4、打印1.txt中有3列的行的内容,示例中,第二行有三列,所以打印的就是第二行的内容

命令:awk ‘NF == 3 {print}’ 1.txt 

shell脚本之awk命令_第5张图片

7.5、 输出1.txt中行号大于3的行,其最后一列的内容

$NF记录的是当前行最后一列的内容(如果每一行有多列内容)

NR记录的是当前行的行号

命令:awk ‘{if (NR > 3) {print $NF} }’ 1.txt

shell脚本之awk命令_第6张图片 

 

7.6、格式化输入1.txt中行号大于3的行的行号和内容

命令:awk ‘{if (NR > 3) {print NR".\t"$0} }’ 1.txt

shell脚本之awk命令_第7张图片

 

7.7、统计1.txt中有多少空行

命令:awk ‘BEGIN { x=0 } /^$/{x=x+1} END{print “find” " " x " " “blank lines”}’ 1.txt 

shell脚本之awk命令_第8张图片

 

7.8、将3.txt文件中第二列内容做平方运算后再加1输入(字符串做平方运算后结果为0)

命令:awk ‘{print ($2**2) +1}’ 3.txt

shell脚本之awk命令_第9张图片

 8、awk脚本示例

功能:打印1.txt文本中每一列的内容

#!/bin/bash
num=`awk -F ' ' 'NR==1 {print NF}' 1.txt`     # 统计1.txt文件有多少列
for i in `seq 1 $num`                       # 根据文件列数进行循环
do
  awk -v a=$i  '{print $a}' 1.txt         # 打印每一列的内容,-v 参数可以指定一个变量保存外部变量的值,将外部变量传递给awk
done
[dhapp@conch01 shell]$ vim awk.sh
[dhapp@conch01 shell]$ cat 1.txt
123 abc
123 cdf
345 ewr
12345 dsa
765 sdfv
[dhapp@conch01 shell]$ sh awk.sh
123
123
345
12345
765
abc
cdf
ewr
dsa
sdfv
[dhapp@conch01 shell]$ cat awk.sh
#!/bin/bash
num=`awk -F ' ' 'NR==1 {print NF}' 1.txt`     # 统计1.txt文件有多少列
for i in `seq 1 $num`                       # 根据文件列数进行循环
do
  awk -v a=$i  '{print $a}' 1.txt         # 打印每一列的内容,-v 参数可以指定一个变量保存外部变量的值,将外部变量传递给awk
done
[dhapp@conch01 shell]$

你可能感兴趣的:(shell,shell)