三剑客命令awk概述
awk为快捷方式 gawk : pattern scanning and processing language
可以进行模式扫描 和 是一门语言
语法 : awk [参数] '模式{动作}' 文件
sed [参数] '条件 指令' 文件信息
三剑客命令awk作用
处理文件信息: 文本文件信息 日志文件信息 配置文件信息
处理文件方式: 排除信息 查询信息 统计信息 替换信息
对文件列进行处理
三剑客命令awk操作
创建测试环境
[root@qiwangyu ~]# cat reg.txt
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50 :95 :135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175
一、显示xiaoyu的姓氏和ID号码
awk '{print 3}' 文件信息
第一个步骤: 找出需要编写模式信息
获取xiaoyu信息
awk '/Xiaoyu/' reg.txt
awk '2~/Xiaoyu/{动作}' reg.txt
awk '1 2~/Xiaoyu/{print 3}' reg.txt
Zhang 390320151
[root@qiwangyu ~]# awk '1" "$3}' reg.txt
Zhang 390320151
二、姓氏是Zhang的人,显示他的第二次捐款金额及他的名字
第一个步骤: 找出需要编写模式信息
awk '1~/Zhang/{print 2,1~/Zhang/{print 1~/Zhang/{print 2,$5}' reg.txt
Zhang Dandan 100
Zhang Xiaoyu 90
三、显示所有以41开头的ID号码的人的全名和ID号码
第一个步骤: 找出需要编写模式信息
awk '3~/^41/{print 2,3~/^41/{print 2,3~/^41/{print 2,$3}' reg.txt|column -t
Zhang Dandan 41117397
Liu Bingbing 41117483
四、 显示所有ID号码最后一位数字是1或5的人的全名
第一个步骤: 找出需要编写模式信息
awk '|53~/[15]3~/(1|5)3~/[15]1,3~/[15]1,3}' reg.txt|column -t
Zhang Xiaoyu 390320151
Wu Waiwai 70271111
Wang Xiaoai 3515064655
Li Youjiu 918391635
Lao Nanhai 918391635
五、获取文件中有井号或空行的内容, 将空行和井号信息的行排除
第一个步骤: 找出需要编写模式信息
awk '/#|^0~/#|^0 表示将文件所有列信息进行显示
awk '/' reg.txt
awk '!/#|^0!~/#|^0!~/#|^0}' reg.txt
Zhang Dandan 41117397 :250:100:175
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175
Lao Nanhai Xiaoyu :250:100:175
六、显示Xiaoyu的捐款,每个捐款数额都是以110330
awk '4}' reg.txt|sed 's#:#2~/Xiaoyu/{print '
awk -F "[: ]+" '"""$6}' reg.txt
七、awk替换
gsub = gawk substitute
gsub(/要替换的信息/,"替换成什么".2~/Xiaoyu/{gsub(/:/,"NF);print 155201
说明: $NF 表示文件的最后一列信息
八、awk命令模式分类
普通模式: 比较行信息
[root@qiwangyu ~]# awk 'NR>2' reg.txt
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175
[root@qiwangyu ~]# awk 'NR<2' reg.txt
Zhang Dandan 41117397 :250:100:175
说明: NR 表示文件行信息
取出多行信息
[root@qiwangyu ~]# awk 'NR==2,NR==4' reg.txt --- 连续多行
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
[root@qiwangyu ~]# awk 'NR==2;NR==4' reg.txt --- 不连续多行
Zhang Xiaoyu 390320151 :155:90:201
Wu Waiwai 70271111 :250:80:75
特殊模式:
BEGIN{动作}: 在处理文件之前,先做什么事情
[root@qiwangyu ~]# awk 'BEGIN{print "姓","名","号码","捐款记录"}{print $0}' reg.txt|column -t
姓 名 号码 捐款记录
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175
用于计算:
[root@qiwangyu ~]# awk "BEGIN{print 2+2}"
4
[root@qiwangyu ~]# awk "BEGIN{print 2-2}"
0
[root@qiwangyu ~]# awk "BEGIN{print 22}"
4
[root@qiwangyu ~]# awk "BEGIN{print 3/2}"
1.5
[root@qiwangyu ~]# awk "BEGIN{print 3^2}"
9
[root@qiwangyu ~]# awk "BEGIN{print 3^3}"
27
[root@qiwangyu ~]# awk "BEGIN{print 3*3}"
27
[root@qiwangyu ~]# awk "BEGIN{print 5%3}"
2
修改内置变量:
NF: 取出最后一列
# awk '{print 4}' reg.txt
250
155
250
250
250
50
250
175
250
[root@qiwangyu ~]# awk -vFS="[: ]+" '{print 4}' reg.txt
Zhang 250
Zhang 155
Meng 250
Wu 250
Liu 250
Wang 50
Zi 250
Li 175
Lao 250
END{动作}: 在处理文件之后,再做什么事情
[root@oldboyedu ~]# awk 'BEGIN{print "姓","名","号码","捐款记录"}{print $0}END{print "学生捐款登记表"}' reg.txt|column -t
姓 名 号码 捐款记录
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175
学生捐款登记表
实际作用:
可以将统计后的最终结果进行输出
九、awk对文件进行统计分析
1) awk统计运算公式
a 文本信息累加运算
i=i+1
统计文件行数
awk '{i=i+1}END{print i}' test.txt
[root@qiwangyu ~]# awk '/oldboy/{i=i+1}END{print i}' test.txt
4
[root@qiwangyu ~]# awk '/oldboy/{i++}END{print i}' test.txt
4
b 数值信息求和运算
sum=sum+n 你要对文件第几列信息做求和运算
# seq 10|awk '{sum=sum+$1}END{print sum}'
55
找出有failed信息, 总共出现了多少次 (awk统计)
awk '/Failed/{i++}END{print i}' secure-20161219
awk '$6~/Failed/{i++}END{print i}' secure-20161219'