Shell脚本之文本处理三剑客——awk

目录

一、awk

1、awk的基本介绍

2、awk的基本格式

3、awk的工作原理

4、常见的内建变量（可以直接使用）

二、awk相关示例

1、打印文本内容

2、根据$n以及NR提取字段

①提取ip地址

②提取ipv6的地址

3、根据选项-F指定分隔符

①打印/etc/passwd所有的用户名

②打印多列内容

③打印磁盘已经使用情况，去除%

④取出文本中的ip地址及时间

⑤取出文本中的主机并放回

4、根据关键字提取所在行

①提取/etc/passwd以root开头的行

②提取/etc/passwd下的root所在的行

③提取/etc/passwd下的以nologin结尾的行

5、使用BEGIN输出包含指定字符的行并且统计有多少行

①BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作

②awk再处理指定的文本，之后再执行END模式中指定的动作

③END{}语句中，往往会放入打印结果等语句

6、FS：指定每行文本的字段分隔符，默认为空格或者制表符，与-F相同

7、NF：当前处理行的整行内容

①当前处理的行的字段个数

②打印出每行最后一个字段

③打印出每行倒数第二个字段

8、NR：当前处理行的行号

①当前处理的行的行号

②NR%2==0代代表取偶数行

③NR%2==1代表取奇数行

④NR==n就是取第几行

⑤NR==1，NR==4取区间行

⑥取UID数值范围$n>1000

三、试题练习

1、统计/etc/fstab文件中每个文件系统类型出现的次数

2、统计/etc/fstab文件中每个单词出现的次数

3、将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的ip地址

4、提取出字符串ndwjhf2urh23h(*Y(*T(T95564665中的所有数字

---

一、awk

1、awk的基本介绍

①awk是一种处理文本文件的语言，是一个强大的文本分析工具

②可以在无交互的模式下实现复杂的文本操作

③相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。

④之所以叫awk是因为创始人的名字首字母

2、awk的基本格式

awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

3、awk的工作原理

就是逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行命令。

sed命令常用于处理一整行，而awk比较倾向于将一行分成多个字段来进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符号“&&”来表示与或非；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

4、常见的内建变量（可以直接使用）

①FS：列的分隔符。指定每行文本的字段分隔符号，默认为空格或制表位。与“-F”作用相同

②NF：当前处理的行的字段个数

③NR：当前处理的行的行号（数字序号）

④$0：当前处理的行的整行内容

⑤$n：当前处理行的第n个字段（第n列）

⑥FILENAME：被处理的文件名

⑦RS：行分隔符号

⑧$NF：最后一段

⑨$(NF-1)：倒数第二行

二、awk相关示例

1、打印文本内容

①awk可以将自动将多个空格压缩成一个空格

②打印字符串需要加双引号

③打印磁盘已经使用情况

df |awk '{print $5}'

④打印字符串

awk '{print "hello"}'

⑤打印字符串确定文件有多少行

awk '{print "hello"}' /etc/fstab 
 
awk '{print "hello"}' /etc/fstab |wc -l
 
cat /etc/fstab |wc -l

2、根据$n以及NR提取字段

$n代表提取第几列

①提取ip地址

ifconfig ens33|sed -n '2p'|awk '{print $2}'

ifconfig ens33 |awk 'NR==2{print $2}'

②提取ipv6的地址

ifconfig ens33|sed -n '3p'|awk '{print $2}'

ifconfig ens33 |awk 'NR==3{print $2}'

3、根据选项-F指定分隔符

①打印/etc/passwd所有的用户名

cat /etc/passwd|awk -F":" '{print $1}'
或
cat /etc/passwd|awk -F: '{print $1}'

②打印多列内容

打印逗号时可以表示空格，如果使用：或者+需要在特殊符号上面加上双引号来当成字符串进行使用

cat /etc/passwd|awk -F":" '{print $1,$2}'
 
cat /etc/passwd|awk -F":" '{print $1":"$2}'
 
cat /etc/passwd|awk -F":" '{print $1"+"$2}'

③打印磁盘已经使用情况，去除%

#使用两条awk命令
df|awk '{print $5}'|awk -F% '{print $1}'
 
#使用一次awk命令
df|awk -F"[ %]+" '{print $5}'
 
##也可以使用（ |%）代表或者
df|awk -F"( |%)+" '{print $5}'

④取出文本中的ip地址及时间

##文本内容##
vim test.txt 
 
58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?
doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1" ""sendfileo
 
 
##提取##
cat test.txt |sed '2d'|awk -F"[[ ]"  '{print $5"\t"$1}'

⑤取出文本中的主机并放回

##文本内容##
vim host.txt 
 
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com
 
##提取##
cat host.txt |awk -F "[. ]" '{print $2}' >>host.txt

4、根据关键字提取所在行

①提取/etc/passwd以root开头的行

cat /etc/passwd |awk -F":" '/^root/{print}' 

②提取/etc/passwd下的root所在的行

cat /etc/passwd |awk -F: '/root/{print}'

③提取/etc/passwd下的以nologin结尾的行

cat /etc/passwd |awk -F":" '/nologin$/{print}' 
 
##如果提取/sbin/nologin,则需要\转义/
cat /etc/passwd |awk -F":" '/\/sbin\/nologin$/{print}' 

5、使用BEGIN输出包含指定字符的行并且统计有多少行

①BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作

②awk再处理指定的文本，之后再执行END模式中指定的动作

③END{}语句中，往往会放入打印结果等语句

#先定义变量x，表示执行多少次
awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd

6、FS：指定每行文本的字段分隔符，默认为空格或者制表符，与-F相同

awk -v FS=: '{print $1FS$3}' /etc/passwd

7、NF：当前处理行的整行内容

①当前处理的行的字段个数

cat /etc/passwd |awk -F: '{print NF}'

②打印出每行最后一个字段

cat /etc/passwd |awk -F: '{print $NF}'

③打印出每行倒数第二个字段

cat /etc/passwd |awk -F: '{print $(NF-1)}'

df|awk '{print $(NF-1)}'

8、NR：当前处理行的行号

①当前处理的行的行号

#NR写在后面则在后面显示行号
#awk  -F: '{print $1,NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
shutdown 7
halt 8
 
#可以用制表符
awk  -F: '{print $1"\t"NR}' /etc/passwd
root	1
bin  	2
daemon	3
adm  	4
lp	    5
 
#NR写在前面则在前面显示行号
awk  -F: '{print NR"\t"$1}' /etc/passwd
1	root
2	bin
3	daemon
4	adm
5	lp

②NR%2==0代代表取偶数行

awk -F: 'NR==2 {print $1}' /etc/passwd

③NR%2==1代表取奇数行

④NR==n就是取第几行

awk -F: 'NR==2 {print $1}' /etc/passwd

⑤NR==1，NR==4取区间行

awk -F: 'NR==1,NR==4 {print $1}' /etc/passwd

⑥取UID数值范围$n>1000

#取uid大于1000的行
awk -F: '$3>1000 {print}' /etc/passwd
 
 
#取uid大于等于1000的行
awk -F: '$3>=1000 {print}' /etc/passwd

三、试题练习

1、统计/etc/fstab文件中每个文件系统类型出现的次数

cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c 

2、统计/etc/fstab文件中每个单词出现的次数

grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort

3、将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的ip地址

cat log.txt |awk -F: '{print $3}' |sort |uniq -c |sort -rn |head

4、提取出字符串ndwjhf2urh23h(*Y(*T(T95564665中的所有数字

echo "字符串"|grep -E -o "[0-9]+"