十六、awk

十六、awk

概述：AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作，数据可以来自标准输入也可以是管道或文件。

工作原理：
当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出。如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次。

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符” &&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式:
awk选项'模式或条件{操作}'文件1文件2 ...
awk -f 脚本文件 文件1  文件2 ..

awk 包含几个特殊的内建变量（可直接用）如下所示：

FS	指定每行文本的字段分隔符，默认为空格或制表位
NF	当前处理的行的字段个数
NR	当前处理的行的行号（序数）
$0	当前处理的行的整行内容
$n	当前处理行的第 n 个字段（第 n 列）
FILENAME	被处理的文件名
RS	行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读入一条记录,以进行处理。预设值是" \n’

[root@localhost ~]# cat /etc/passwd | head -10 > zz  
[root@localhost ~]# awk '{print}' zz    
[root@localhost ~]# awk '{print $1}' zz                #awk默认把这一行当做一列，因为没有被空格分隔，awk默认以空格或tab键分隔
[root@localhost ~]# awk -F: '{print $5}' zz            #自定义冒号为分隔符显示分隔之后的第五列
[root@localhost ~]# awk -Fx '{print $1}' /etc/passwd   #用x作为分隔符
[root@localhost ~]# awk '{print $1 $2}' zz
helloworld
[root@localhost ~]# awk '{print $1""$2}' zz            #显示一个空格，空格需要用双引号引起来，如果不用引号默认以变量看待，如果是常量就需要双引号引起来
hello world
[root@localhost ~]# awk '{print $1,$2}' zz             #逗号有空格效果
hello world
[root@localhost ~]# awk -F: '{print $1"\t"$2}' /etc/passwd   #用制表符作为分隔符输出
[root@localhost ~]# awk -F[:/] '{print $9}' zz         #定义多个分隔符，只要看到其中一个都算作分隔符

awk常用内置变量：$1、$2、NF、NR、$0

$1	代表第一列
$2	代表第二列以此类推
NF	代表整行
NR	一行的列数
$0	行数

[root@localhost ~]# awk -F: '/root/{print $0}' /etc/passwd    #打印包含root的整行内容
[root@localhost ~]# awk -F: '/root/{print $1}' /etc/passwd    #打印包含root的行的第一列
[root@localhost ~]# awk -F: '/root/{print $1,$6}' /etc/passwd #打印包含root的行的第一列和第六列
[root@localhost ~]# awk -F[:/] '{print NF}' /etc/passwd       #打印每一行的列数
[root@localhost ~]# awk -F[:/] '{print NR}' /etc/passwd       #显示行号
[root@localhost ~]# awk -F: '/\!/{print $1}' /etc/shadow      #输出shadow文件中以冒号分隔的第二列有感叹号的行的第一列
[root@localhost ~]# awk -F: '{print NR,$0}' /etc/passwd       #显示行号和整行内容
[root@localhost ~]# awk  'NR==2{print}' /etc/passwd
[root@localhost ~]# awk  'NR==2' /etc/passwd                  #打印第二行，不加print也一样，默认就是打印
[root@localhost ~]# awk -F: 'NR==2{print $1}' /etc/passwd     #打印第二行的第一列
[root@localhost ~]# awk -F: '{print $NF}' /etc/passwd         #打印最后一列
[root@localhost ~]# awk 'END{print NR}' /etc/passwd           #打印总行数
[root@localhost ~]# awk 'END{print $0}' /etc/passwd           #打印文件最后一行
[root@localhost ~]# awk -F: '{print "当前行有"NF"列"}' /etc/passwd
[root@localhost ~]# awk -F: '{print "第"NR"行有"NF"列"}' /etc/passwd   #第几行有几列

网卡的ip、流量

[root@localhost ~]# ifconfig ens33 | awk '/netmask/{print "本机的ip地址是"$2}'
[root@localhost ~]# ifconfig ens33 | awk '/RX p/{print $5"字节"}'

[root@localhost ~]# df -h | awk 'NR==2{print $4}'      #根分区的可用量

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END
BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次
END一般用来做汇总操作，仅在读取完数据记录之后执行一次

awk的运算：

[root@localhost ~]# awk 'BEGIN{x=10;print x}'     #如果不用引号awk就当作一个变量来输出了，所以不需要加$了
10
[root@localhost ~]# awk 'BEGIN{x=10;print x+1}'   #BEGIN在处理文件之前，所以后面不跟文件名也不影响
11
[root@localhost ~]# awk 'BEGIN{x=10;x++;print x}'
11
[root@localhost ~]# awk 'BEGIN{print x+1}'        #不指定初始值，初始值就为0，如果是字符串，则默认为空
1
[root@localhost ~]# awk 'BEGIN{print 2.5+3.5}'    #小数也可以运算
6
[root@localhost ~]# awk 'BEGIN{print 2-1}'
1
[root@localhost ~]# awk 'BEGIN{print 3*4}'
12
[root@localhost ~]# awk 'BEGIN{print 3**2}'
9
[root@localhost ~]# awk 'BEGIN{print 2^3}'        #“^”和“**”都是幂运算
8
[root@localhost ~]# awk 'BEGIN{print 1/2}' 
0.5

模糊匹配，用_{表示包含，!}表示不包含

[root@localhost ~]# awk -F: '$1~/root/' /etc/passwd
[root@localhost ~]# awk -F: '$1~/ro/' /etc/passwd       #模糊匹配，第一列只要有ro就匹配上
[root@localhost ~]# awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
                  #匹配第七列不是以/nologin结尾的，输出第一和第七列

关于数值与字符串的比较
比较符号：== != <= >= < >

[root@localhost ~]# awk  'NR==5{print}' /etc/passwd    #打印第五行
[root@localhost ~]# awk  'NR==5' /etc/passwd           #打印第五行
[root@localhost ~]# awk  'NR<5' /etc/passwd            #打印前五行
[root@localhost ~]# awk -F: '$3==0' /etc/passwd        #以：为分割，打印第三列为0的行
[root@localhost ~]# awk -F: '$1==root' /etc/passwd
[root@localhost ~]# awk -F: '$1=="root"' /etc/passwd   #精确匹配一定是root
[root@localhost ~]# awk -F: '$3>=1000' /etc/passwd     #打印第三列大于等于1000的行

逻辑运算 && ||

[root@localhost ~]# awk -F: '$3<10 || $3>=1000' /etc/passwd  #打印第三列小于10且大于等于1000的行
[root@localhost ~]# awk -F: '$3>10 && $3<1000' /etc/passwd   #打印第三列10到1000的行
[root@localhost ~]# awk -F: 'NR>4 && NR<10' /etc/passwd      #打印5~9行

例：打印1-200之间所有能被7整除并且包含数字7的整数数字

[root@jx ~]# seq 200 | awk '$1%7==0 && $1~/7/'

其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

[root@localhost ~]# awk 'BEGIN{FS=":"}{print $1}' /etc/passwd     
#在打印之前定义字段分隔符为冒号
[root@localhost ~]# awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' /etc/passwd  #OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格
[root@localhost ~]# awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts   
#可以看出FNR的行号在追加当有多个文件时
[root@localhost ~]# awk '{print NR,$0}' /etc/resolv.conf /etc/hosts

[root@localhost ~]# awk 'BEGIN{RS=":"}{print $0}' /etc/passwd    
#RS:指定以什么为换行符，这里指定是冒号，指定的肯定是原文里存在的字符
[root@localhost ~]# awk 'BEGIN{ORS=" "}{print $0}' /etc/passwd   
#把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键

awk高级用法：

定义引用变量：-v 一般是用来把shell环境里的变量传进awk

[root@localhost ~]# a=100
[root@localhost ~]# awk -v b="$a" 'BEGIN{print b}'       #将系统的变量a，在awk里赋值为变量b，然后调用变量b
100
[root@localhost ~]# awk 'BEGIN{print "'$a'"}'            #直接调用的话需要先用双引号再用单引号
100
[root@localhost ~]# awk -vc=1 'BEGIN{print c}'           #awk直接定义变量并引用
1

调用函数getline，读取一行数据的时候并不是得到当前行而是当前行的下一行

[root@localhost ~]# df -h | awk 'BEGIN{getline}/root/{print $0}'
[root@localhost ~]# seq 10 | awk '{getline;print $0}'     #显示偶数行
[root@localhost ~]# seq 10 | awk '{print $0;getline}'     #显示奇数行

当getline左右无重定向符"<“或"I"时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NE，NR，FNR和$O等内部变量，所以此时的$O的值就不再是1，而是2了，然后将它打印出来。
当getline左右有重定向符”<"或"I"时，getline则作用于定向输入文件，由于该文件是刚打开,
并没有被awk读入一行,只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

[root@jx ~]# awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'
#调用w命令，并用来统计在线用户数
[root@jx ~]# awk 'BEGIN { "hostname" | getline ; {print $0}}'
#调用hostname,并输出当前的主机名

if语句：awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}

[root@localhost ~]# awk -F: '{if($3<10){print $0}}' /etc/passwd    
#第三列小于10的打印整行
[root@localhost ~]# awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd    #第三列小于10的打印第三列，否则打印第一列

awk还支持for循环、while循环、函数、数组等

[root@jx ~]# awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END {print x}' /etc/passwd
#统计以/ bin/bash结尾的行数，等同于grep -c "/bin/bash$" /etc/passwd

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作; awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句

[root@jx ~]# awk -F ":" '! ($3<200){print} ' /etc/passwd      #输出第3个字段的值不小于200的行
[root@jx ~]# awk 'BEGIN {FS=":"} ;{if($3>=1000){print}}' /etc/passwd
#先处理完BEGIN的内容，再打印文本里面的内容

[root@jx ~]# awk -F":" 'max=($3>$4)?$3:$4;{print max}' /etc/passwd
#($3>$4)?$3:$4三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max

[root@jx ~]# awk -F ":" '{print NR,$0}' /etc/passwd
#输出每行内容和行号，每处理完一条记录，NR值加1
[root@jx ~]# sed -n '=;p' /etc/passwd

[root@jx ~]# awk -F ":" '$7~"bash"{print $1}' /etc/passwd
#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
[root@jx ~]# awk -F: '/bash/ {print $1}' /etc/passwd

[root@jx ~]# awk -F":" '($1~"root") && (NF==7) {print $1,$2,$NF} ' /etc/passwd
root x /bin/bash
#筛选第一个字段包含root且有7个字段的行，打印第1、2个字段和末尾字段

[root@jx ~]# awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin"){print}' /etc/passwd
[root@jx ~]# awk -F: '($NF != "/bin/bash") && ($NF != "/sbin/nologin" ) {print NR, $0}' /etc/passwd
#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

通过管道、双引号调用shell 命令:

[root@jx ~]# echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'
 #统计以冒号分隔的文本段落数，END{ }语句块中，往往会放入打印结果等语句
[root@jx ~]# echo $PATH | awk 'BEGIN{RS=":"};{print NR,$0};END {print NR}'

[root@jx ~]# awk -F: '/bash$/{print | "wc -l"}' /etc/passwd
[root@jx ~]# awk -F: '/bash$/{print}' /etc/passwd | wc -l
 #调用wc -l命令统计使用bash 的用户个数,等同于grep -c "bash$" /etc/passwd

[root@jx ~]# free -m |awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'
#查看当前内存使用百分比
[root@jx ~]# free -m | awk '/Mem:/ {print $3/$2*100}' | awk -F. '{print $1 "%"}'

top -b -n 1 | grep Cpu | awk -F ',' '{print $4}'| awk '{print int($1)"%"}' 
#查看当前CPU空闲率，(-b -n 1表示只需要1次的输出结果)
CPU使用率
cpu_us=`top -b -n 1 | grep Cpu | awk '{print $2}'`
cpu_sy=`top -b -n 1 | grep Cpu | awk -F ',' '{print $2}' | awk '{print $1} '`
cpu_sum=$(($cpu_us+$cpu_sy))
echo $cpu_sum

[root@jx ~]# echo "A B C D" | awk '{OFS="|"; print $0;$1=$1;print $0}'
A B C D
A|B|C|D
$1=$1是用来激活$0的重新赋值，也就是说
字段$1...和字段数NF的改变会促使awk重新计算$O的值,通常是在改变OFS后而需要输出$O时这样做

[root@jx ~]# awk 'BEGIN{a[0]=10;a[1]=20;print a[1]}'
20
[root@jx ~]# awk 'BEGIN{a[0]=10;a[1]=20;print a[0]}'
10
[root@jx ~]# awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["abc"]}'
10
[root@jx ~]# awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["xyz"]}'
20
[root@jx ~]# awk 'BEGIN{a["abc"]="aabbcc";a["xyz"]="xxyyzz";print a["xyz"]}'
xxyyzz
[root@jx ~]# awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}'
0 10
1 20
2 30
[root@jx ~]# 
PS1:BEGIN中的命令只执行一次
PS2: awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

使用awk统计httpd 访问

日志中每个客户端IP的出现次数?
awk '{ip[$1]++}END{for(i in ip)(print ip[i],i}' /var/log/httpd/access_log | sort -r
备注:定义数组，数组名称为ip，数字的下标为日志文件的第1列（也就是客户端的IP地址)，++的目的在于对客户端进行统计计数，客户端IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

awk '/Failed password/ {print $0} ' /var/log/secure
awk '/Failed password/ {print $11} ' /var/log/secure
awk '/Failed/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure
awk '/Failed/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure
awk '/Failed password/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure


脚本编写
#!/bin/ bash
x=`awk '/Failed password/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure`
#190.168.80.13 3
for j in $x
do
ip=`echo $j | awk -F "," '{print $1}'`
num=`echo $j | awk -F "," '{print $2}'`
if [ $num -ge 3 ];then
echo "警告! $ip访问本机失败了$num次，请速速处理!"
fi
done

date

date默认情况下输出人类可读的时间格式，可以查看系统设置时区的时间

[root@jx ~]# date
2022年 07月 09日 星期六 21:39:06 CST

同时date还接受环境变量TZ, 也就是TimeZone（时区），查看给定时区的时间

date --date='TZ="China/Shanghai"' # TZ表示时区

date假如参数-u就看查看协调世界时间

[root@jx ~]# date -u
2022年 07月 09日 星期六 13:40:13 UTC

可以定义格式改变输出：

date +%s # 计算机时间系统
date +%m/%d/%y 等价于 date +%D
date +%Y-%m-%d 等价于 date +%F

时间放在运行的日志文件名中

echo $(date) > $(date +%Y-%M-%d-%H-%M).log

-d/--date, 运行用字符串描述时间，比如说你可以问你1周前是几号，500天前是几号

date -d "1 week ago" +"%Y-%m-%d %H:%M:%S" 
date -d "500 days ago" +"%Y-%m-%d %H:%M:%S"

/proc/uptime记录着上一次开机到目前过了多少秒，可以和-d参数组合来查看上一次开机的具体日期。

date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"
[root@jx ~]# date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
2022-07-09 14:34:26
#显示上次系统重启时间，等同于uptime; second ago为显示多少秒前的时间，+$” 选日:3N:3S等同于+"3Y-n-%d 3日:8N:8S"的时间格式
[root@jx ~]# date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
2022-07-09 14:34:26
#显示上次系统重启时间，等同于uptime; second ago为显示多少秒前的时间，+"F悉日:M::S"等同于+"%1-tm-d 日: 38:8S"的时间格式

"
[root@jx ~]# date -d “$(awk -F “.” '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 1}̲' /proc/uptime)…” 选日:3N:3S等同于+“3Y-n-%d 3日:8N:8S"的时间格式
[root@jx ~]# date -d “$(awk -F. ‘{print $1}’ /proc/uptime) second ago” +”%F %H:%M:%S”
2022-07-09 14:34:26
#显示上次系统重启时间，等同于uptime; second ago为显示多少秒前的时间，+“F悉日:M::S"等同于+”%1-tm-d 日: 38:8S"的时间格式

[外链图片转存中...(img-8d7TXAhM-1657526472838)]