Linux|文本处理三剑客之awk命令详解
文章目录
-
- awk：文本截取命令
-
- 完整语法
- -F 指定分隔符
- awk命令的操作符
- awk的数据字段变量
- awk使用shell变量
- awk的字段求和（累加）
- awk内置函数length、substr，split
- awk的流控（if else）
- awk的for循环
awk：文本截取命令
awk是一门编程语言
Gawk is the GNU Project’s implementation of the AWK programming language
完整语法
awk ‘BEGIN{commands}pattern{commands}END{commands}’ filename
BEGIN{commands} 处理数据前执行的命令
pattern{commands} 每行都执行的命令，支持正则
END{commands} 处理数据后执行的命令
-F 指定分隔符
awk -F 分隔符 ‘/模式/{动作}’ 文件
模式可以是正则表达式、条件表达式或两种组合
如果模式是正则表达式要用/定界符
多个动作之间用==;==号分开
awk命令的操作符
正则表达式和bash一致
数学运算: +，-，*，/，%，++， –
逻辑关系符: &&,||，!
&&比|的优先级要高
比较操作符: >，<，>=，!=，<=, == ，，!
文本 数据 表达式: == (精确匹配)
~：模糊匹配
完整语法举例
[root@weihong logs]# awk -F: 'BEGIN{print "####start####"} $3>500 && $3<1000{print $1,$3} END{print "####end#####"}' /etc/passwd
####start####
polkitd 999
libstoragemgmt 998
chrony 997
syslog 996
####end#####
[root@wh ~]# awk -F: 'BEGIN{num=0;print"开始统计/etc/passwd文件"} $1~/feng/ || $3>1005{print NR,NF,$1,length($1),$(NF-1),$NF,$3;num++} END{print "结束统计",num}' /etc/passwd
开始统计/etc/passwd文件
29 7 liuqingtian 11 /home/liuqingtian /bin/bash 1007
30 7 liwenqian 9 /home/liwenqian /bin/bash 1008
...
125 7 yueyang 7 /home/yueyang /bin/bash 12426
126 7 liu 3 /home/liu /bin/bash 12427
结束统计 96
#命令解析：
num=0 ：自定义变量
$1~/feng/ || $3>1005 ： ~为模糊匹配，第一个字段中包含feng或者第三个字段大于1005
NR number of record 行号
NF number of field 字段数
length() 内置的函数，用来统计字符串的长度
$NF -->最后一个字段
$(NF-1) --> 倒数第2个字段
# 获取df -Th命令中第一个字段和倒数第二个字段
[root@wh ~]# df -Th|awk '{print $1,$(NF-1)}'
文件系统 已用%
devtmpfs 0%
tmpfs 0%
tmpfs 2%
tmpfs 0%
/dev/mapper/centos-root 66%
/dev/sda1 20%
tmpfs 0%
-F 指定分隔符
# 指定分隔符为':'
[root@wh 0704]# awk -F: '{print $1,$2}' /etc/passwd
[root@wh 0704]# head -1 /etc/passwd|awk -F":" '{print $1,$2}'
root x
[root@wh 0704]# head -1 /etc/passwd|awk -F: '{print $1,$2}'
root x
[root@wh 0704]# head -1 /etc/passwd|awk -F: '{print $1$2}'
rootx
[root@wh 0704]# head -10 /etc/passwd|awk -F: 'OFS="#"{print $1,$2}'
root#x
awk -F: '{print $1,$2}' /etc/passwd
-F 指定输入分隔符，默认的分隔符是空白（空格+tab，Enter）
print是awk内部的命令，用于输出
$1,$2中的',' 引用输出分隔符，默认输出分隔符是一个空格
分隔符：
1.输入分隔符
-F
2.输出分隔符
定义OFS="#"
output field separater
# 指定分隔符为:或者/
[root@localhost 74]# awk -F[:/] '{print $1,$10}' /etc/passwd
pattern位置为正则表达式
# 包含feng的行，输出第1,3,个字段
[root@wh ~]# awk -F: '/feng/{print $1,$3}' /etc/passwd
califeng 1017
fengdeyong 1029
zhangsanfeng 7799
qiaofeng 12369
#正则 第三个字段是三位的字符串
[root@wh ~]# awk -F: '$3~/\<...\>/{print $1,$3}' /etc/passwd
systemd-network 192
polkitd 999
chrony 998
nginx 997
mysql 996
wuyazi 995
# 10以内能整除5或者以1开头
[root@wh ~]# seq 10|awk '$1%5==0||$1~/^1/{print $1}'
1
5
10
awk的数据字段变量
$0表示整行文本
$1表示文本中第一个数据字段
$2表示文本中第二个数据字段
$n表示文本中第n个数据字段
awk的用-F来指定分隔符
默认的字段分隔符是任意空白字符(空格或者TAB)
[root@wh 426]# df -h
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 898M 0 898M 0% /dev
tmpfs 910M 0 910M 0% /dev/shm
tmpfs 910M 9.6M 901M 2% /run
tmpfs 910M 0 910M 0% /sys/fs/cgroup
/dev/mapper/centos-root 17G 10G 7.1G 59% /
/dev/sda1 1014M 151M 864M 15% /boot
tmpfs 182M 0 182M 0% /run/user/0
[root@wh 426]# df -h|grep "/boot$"|awk '{print $1 $5}'
/dev/sda115%
#， 指定输出分隔符，默认为空格
[root@wh 426]# df -h|grep "/boot$"|awk '{print $1,$5}'
/dev/sda1 15%
# tr --> transfer -d --> delete 删除%
[root@wh 426]# df -h|grep "/boot$"|awk '{print $5}'|tr -d %
15
# 输出df -Th命令中使用率超过50%的行
[root@wh ~]# df -Th|awk '$6>"50%"{print $0}'
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root xfs 17G 12G 5.9G 66% /
awk基本命令示例
[root@wh ~]# head -1 /etc/passwd
root:x:0:0:root:/root:/bin/bash
# 输出uid >= 500的用户名
[root@wh ~]# awk -F: '$3>=500{print $1}' /etc/passwd
polkitd
chrony
# 输出500<=uid<=6000的用户名
[root@wh ~]# awk -F: '$3>=500 && $3<=6000{print $1}' /etc/passwd
polkitd
chrony
# 输出uid不等于gid的用户名
[root@wh ~]# awk -F: '$3 != $4{print $1}' /etc/passwd
adm
lp
# 输出以h开头的用户名
[root@wh ~]# awk -F: '/^h/{print $1}' /etc/passwd
halt
hsenjiemi
# ps aux里查找cpu和mem使用率超过0.1%的pid号和进程名
[root@wh ~]# ps aux|awk ' $3>0.1 && $4>0.1 {print $2,$11}'
999 /usr/local/mysql/bin/mysqld
# 统计有多少个用户uid>1000并且使用的shell是bash
[root@wh 0705]# awk -F: 'BEGIN{num=0} $3>1000 && /bash$/{print $0;num++}END{print num}' /etc/passwd
...
pingguo:x:12424:12421::/home/pingguo:/bin/bash
jingshi:x:12425:12422::/home/jingshi:/bin/bash
yueyang:x:12426:12423::/home/yueyang:/bin/bash
liu:x:12427:12427::/home/liu:/bin/bash
97
# 显示passwd文件中5~10行的用户名
[root@wh 0705]# awk -F: 'NR>=5 && NR<=10{print $1}' /etc/passwd
lp
sync
shutdown
halt
mail
operator
# 显示passwd文件中5~10行的用户名和行号
[root@wh 0705]# awk -F: 'NR>=5 && NR<=10{print NR,$1}' /etc/passwd
5 lp
6 sync
7 shutdown
8 halt
9 mail
10 operator
# 显示第5行及行号
[root@wh 0705]# awk 'NR==5 {print NR,$0}' /etc/passwd
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
以下两条命令的区别
[root@localhost 74]# cat /etc/passwd|awk -F: '/feng/{print $1,$3}'
fengdeyong 1011
[root@localhost 74]# awk -F: '/feng/{print $1,$3}' /etc/passwd
fengdeyong 1011
# 第一条命令会启动2个进程，| 会启动一个子进程，系统会消耗更多的cpu，内存，磁盘IO,时间
# 推荐使用第二条
统计日志文件中2022-7月份每分钟的流量
[root@wh 0704]# cat log.txt
2022-7-1 00:01:01 78
2022-7-1 00:01:03 78
2022-7-1 00:01:04 89
2022-7-1 00:03:01 178
2022-7-1 00:03:05 890
2022-7-2 00:04:01 178
2022-7-2 00:04:09 78
2022-7-3 00:05:10 78
2022-7-3 00:05:25 890
2022-7-4 12:04:10 78
2022-7-4 12:04:21 78
[root@wh 0704]# cat min_io.sh
#!/bin/bash
for i in {1..31}
do
for j in {00..24}
do
for n in {00..59}
do
if egrep "2022-7-$i $j:$n" log.txt >/dev/null;then
egrep "2022-7-$i $j:$n:[0-5][0-9]" log.txt|awk 'BEGIN{sum=0}{print $0;sum=sum+$NF}END{print "这一分钟内流量总和为：",sum}'
fi
done
done
done
[root@wh 0704]# bash min_io.sh
2022-7-1 00:01:01 78
2022-7-1 00:01:03 78
2022-7-1 00:01:04 89
这一分钟内流量总和为： 245
2022-7-1 00:03:01 178
2022-7-1 00:03:05 890
这一分钟内流量总和为： 1068
2022-7-2 00:04:01 178
2022-7-2 00:04:09 78
这一分钟内流量总和为： 256
2022-7-3 00:05:10 78
2022-7-3 00:05:25 890
这一分钟内流量总和为： 968
2022-7-4 12:04:10 78
2022-7-4 12:04:21 78
这一分钟内流量总和为： 156
# 方法二，用数组进行统计
[root@wh 0704]# awk '{time[$1,substr($1,5,1),substr($2,1,5)]+=$3}END{for (i in time)print i,time[i]}' log.txt |sort -n -k 3 -t -
2022-7-1-00:01 245
2022-7-1-00:03 1068
2022-7-2-00:04 256
2022-7-3-00:05 968
2022-7-4-12:04 156
awk命令会不会一次性消耗文件大小的内存呢
[root@wh 0705]# free -h
total used free shared buff/cache available
Mem: 1.8G 338M 1.0G 9.5M 417M 1.3G
Swap: 2.0G 0B 2.0G
[root@wh 0705]# du -sh sc_bigfile.txt
2.0G sc_bigfile.txt
[root@wh 0704]# awk '{print $2,$3}' sc_bigfile.txt
# 不会，可以对比内存大的文件进行操作，运行脚本的同时可以敲top查看cpu、内存的使用率
[root@localhost 75]# awk -F"[ :]+" '{print $2,$4}' sc_bigfile.txt
# 连续的空格和：当作一个分割符号
awk使用shell变量
# 第一种方法
# echo（也可以是其他的命令，ls） 通过管道符号将shell变量传递给awk
[root@wh 0705]# name=mengmeng
[root@wh 0705]# echo |awk -v username=$name '{print username}'
mengmeng
# 方法二
# 直接使用shell里面的变量，使用双引号，有些地方需要考虑转义
[root@wh 0705]# mn=mengmeng
# $0没有转义
[root@wh 0705]# awk -F: "\$1~/$mn/{print $0}" /etc/passwd
0
0
0
[root@wh 0705]# awk -F: "\$1~/$mn/{print \$0}" /etc/passwd
mengmeng:x:12429:12429::/home/mengmeng:/bin/bash
mengmeng1:x:12430:12430::/home/mengmeng1:/bin/bash
mengmeng2:x:12431:12431::/home/mengmeng2:/bin/bash
awk的字段求和（累加）
[root@wh 0705]# cat grade.txt
id name chinese english math
1 cali 80 80 80
2 tom 90 90 70
3 jarry 70 100 90
12 cali 80 80 80
11 tom 90 90 70
13 jarry 70 100 90
# 两者效果一样，变量默认定义为0
# 统计语文成绩的和
[root@wh 0705]# awk 'NR>1{sum+=$3}END{print sum}' grade.txt
480
[root@wh 0705]# awk 'BEGIN{sum=0}NR>1{sum+=$3}END{print sum}' grade.txt
480
awk内置函数length、substr，split
# 统计shadow文件中没有设置密码的用户名和用户个数
[root@wh 0705]# awk -F: 'length($2)<=2 {print $1;sum++}END{print sum}' /etc/shadow
...
mengmeng
mengmeng1
mengmeng2
97
# 统计shadow文件中密码为*或者为!!的用户名的前两个字母和用户个数
[root@wh 0705]# awk -F: 'length($2)<=2{print substr($1,1,2);sum++}END{print sum}' /etc/shadow
...
me
me
me
97
#取出ip split
[root@wh 0706]# ip add|awk '/inet.*ens[0-9]+$/{split($2,a,"/")}END{for (i in a)print i,a[i]}'
1 192.168.72.129
2 24
[root@wh 0706]# ip add|awk '/inet.*ens[0-9]+$/{split($2,a,"/");print a[1]}'
192.168.72.129
# 分割第二个字段192.168.72.129/24，以“/”为分隔符，存到数组a中
# toupper函数
[root@wh 0706]# awk -F: '{print toupper($1)}' /etc/passwd
ROOT
BIN
DAEMON
awk的流控（if else）
# 输出passwd文件中用户名是三个字符的行
[root@wh 0705]# awk -F: 'length($1)==3 {print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
...
liu:x:12427:12427::/home/liu:/bin/bash
[root@wh 0705]# awk -F: '{if (length($1)==3)print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
...
liu:x:12427:12427::/home/liu:/bin/bash
# 如果用户名是三个字符，输出整行，否则输出用户名
[root@wh 0705]# awk -F: '{if (length($1)==3)print $0 ;else print $1}' /etc/passwd
# uid为0：超级用户，uid为1~999：系统用户，uid大于1000：普通用户
[root@wh 0705]# awk -F: '{if ($3==0)print $1"是超级用户" ;else if ($3 >=1 && $3 <=999) print $1"是系统用户";else print $1"是普通用户"}' /etc/passwd
# uid为0：超级用户，uid为1~999：系统用户，uid大于1000：普通用户，并统计三类用户的数量
[root@wh 0705]# awk -F: '{if ($3==0) {print $1,"为超级用户";num1++;}else if($3>0 && $3<1000) {print $1,"为系统用户";num2++;}else {print $1,"为普通用户";num3++}}END{print " 超级用户的数量是:"num1,"系统用户的数量:"num2,"普通用户的数量:"num3}' /etc/passwd
if语句后面执行多个命令的时候，使用{}括起来，使用;隔开，最后的命令接;结尾，外面的else if和else前面不需要接;了
awk的for循环
格式
for (i=0;i<10;i++) {print $i;}
for (i in array) {print array[i]} 数组：用于统计效果很好
# 数组用法
[root@wh 0705]# awk -F: '{user[$1]=$3}END{for (i in user) print user[i]}' /etc/passwd
#统计相同省份的投票数
[root@wh 0705]# cat vote.txt
山东 aa 2
河南 bb 3
江西 cc 3
湖南 aa 40
山东 bb 10
江西 dd 6
河南 cc 3
湖南 cc 3
[root@wh 0705]# awk '{vote[$1]+=$3}END{for (i in vote) print i,vote[i]}' vote.txt |sort -n -k 2
河南 6
江西 9
山东 12
湖南 43
上期文章grep命令详解: link