day 19

三剑客awk 命令

概念: gawk : pattern scanning and processing language -- 即可以进行模式扫描 ,又是一门语言

语法格式: awk [参数] '模式{动作}' 文件

awk作用:

处理文件信息: 文本文件信息 日志文件信息 配置文件信息

处理文件方式: 排除信息 查询信息 统计信息 替换信

对文件 "列" 进行处理

1` 创建测试环境

[root@oldboyedu ~]# cat reg.txt
Zhang  Dandan    41117397    :250:100:175
Zhang  Xiaoyu    390320151   :155:90:201
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50 :95 :135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175

01. 显示Xiaoyu的姓氏和ID号码

    awk '{print $1 $3}'  文件信息
    第一个步骤: 找出需要编写模式信息
    获取xiaoyu信息
    awk '/Xiaoyu/'  reg.txt
    awk '$2~/Xiaoyu/' reg.txt
    第二个步骤: 根据条件做处理
    显示满足条件的第三列和第一列信息
    awk '$2~/Xiaoyu/{动作}' reg.txt
    awk '$2~/Xiaoyu/{print $1 $3}' reg.txt
    答案:
    [root@oldboyedu ~]# awk '$2~/Xiaoyu/{print $1,$3}' reg.txt
    Zhang 390320151
    [root@oldboyedu ~]# awk '$2~/Xiaoyu/{print $1" "$3}' reg.txt
    Zhang 390320151

02. 姓氏是Zhang的人,显示他的第二次捐款金额及他的名字

    第一个步骤: 找出需要编写模式信息 
    awk '$1~/Zhang/' reg.txt
    第二个步骤: 根据条件做处理 
    awk '$1~/Zhang/{print $1,$2,$4}' reg.txt
    awk -F ":"  '$1~/Zhang/{print $3}' reg.txt
    答案:
    [root@oldboyedu ~]# awk -F "[: ]+"  '$1~/Zhang/{print $1,$2,$5}' reg.txt
    Zhang Dandan 100
    Zhang Xiaoyu 90

03. 显示所有以41开头的ID号码的人的全名和ID号码

    第一个步骤: 找出需要编写模式信息 
    awk '$3~/^41/' reg.txt
    第二个步骤: 根据条件做处理
    答案:
    awk '$3~/^41/{print $1,$2,$3}' reg.txt
    [root@oldboyedu ~]# awk '$3~/^41/{print $1,$2,$3}' reg.txt
    Zhang Dandan 41117397
    Liu Bingbing 41117483
    [root@oldboyedu ~]# awk '$3~/^41/{print $1,$2,$3}' reg.txt|column -t
    Zhang  Dandan    41117397
    Liu    Bingbing  41117483

04. 显示所有ID号码最后一位数字是1或5的人的全名

    第一个步骤: 找出需要编写模式信息
    awk '$3~/1$|5$/' reg.txt
    awk '$3~/[15]$/' reg.txt
    awk '$3~/(1|5)$/' reg.txt
    第二个步骤: 根据条件做处理
    答案
    [root@oldboyedu ~]# awk '$3~/[15]$/{print $1,$2}' reg.txt|column -t
    Zhang  Xiaoyu
    Wu     Waiwai
    Wang   Xiaoai
    Li     Youjiu
    Lao    Nanhai
    [root@oldboyedu ~]# awk '$3~/[15]$/{print $1,$2,$3}' reg.txt|column -t
    Zhang  Xiaoyu  390320151
    Wu     Waiwai  70271111
    Wang   Xiaoai  3515064655
    Li     Youjiu  918391635
    Lao    Nanhai  918391635            
     对齐显示 :  column -t 

05. 获取文件中有井号或空行的内容, 将空行和井号信息的行排除

    第一个步骤: 找出需要编写模式信息
    awk '/#|^$/'  reg.txt       
    awk '$0~/#|^$/'  reg.txt    
    说明: $0 表示将文件所有列信息进行显示
    awk '$0!~/#|^$/'  reg.txt
    awk '!/#|^$/'  reg.txt
    第二个步骤: 根据条件做处理
    答案:
    [root@oldboyedu ~]# awk '$0!~/#|^$/'  reg.txt
    Zhang  Dandan    41117397    :250:100:175
    Meng   Feixue    80042789    :250:60:50
    Wu     Waiwai    70271111    :250:80:75
    Liu    Bingbing  41117483    :250:100:175
    Zi     Gege      1986787350  :250:168:200
    Li     Youjiu    918391635   :175:75:300
    Lao    Nanhai    918391635   :250:100:175
    Lao    Nanhai    Xiaoyu   :250:100:175
    [root@oldboyedu ~]# awk '$0!~/#|^$/{print $0}'  reg.txt
    Zhang  Dandan    41117397    :250:100:175
    Meng   Feixue    80042789    :250:60:50
    Wu     Waiwai    70271111    :250:80:75
    Liu    Bingbing  41117483    :250:100:175
    Zi     Gege      1986787350  :250:168:200
    Li     Youjiu    918391635   :175:75:300
    Lao    Nanhai    918391635   :250:100:175
    Lao    Nanhai    Xiaoyu   :250:100:175

06. 显示Xiaoyu的捐款,每个捐款数额都是以#开头, 如#110#220#330

    awk '$2~/Xiaoyu/{print $4}' reg.txt|sed 's#:#$#g'   
    awk '$2~/Xiaoyu/{print $4}' reg.txt|tr ':' '$'
    awk -F "[: ]+" '$2~/Xiaoyu/{print "#"$4,"#"$5,"#"$6}' reg.txt
    
    awk替换
    gsub  = gawk substitute
    gsub(/要替换的信息/,"替换成什么".$将第几列)
    [root@oldboyedu ~]# awk  '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' reg.txt
    $155$90$201
    说明: $NF 表示文件的最后一列信息 

awk命令模式分类

1`普通模式: 比较行信息

[root@oldboyedu ~]# cat reg.txt
Zhang  Dandan    41117397    :250:100:175
Zhang  Xiaoyu    390320151   :155:90:201
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50:95:135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175
[root@oldboyedu ~]# awk  'NR>2' reg.txt
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50:95:135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175
[root@oldboyedu ~]# awk  'NR<2' reg.txt
Zhang  Dandan    41117397    :250:100:175   
说明: NR 表示文件行信息
    
取出多行信息
[root@oldboyedu ~]# awk  'NR==2,NR==4' reg.txt  --- 连续多行
Zhang  Xiaoyu    390320151   :155:90:201
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
[root@oldboyedu ~]# awk  'NR==2;NR==4' reg.txt  --- 不连续多行
Zhang  Xiaoyu    390320151   :155:90:201
Wu     Waiwai    70271111    :250:80:75

2`特殊模式:

BEGIN{动作}:  在处理文件之前,先做什么事情
[root@oldboyedu ~]# awk  'BEGIN{print "姓","名","号码","捐款记录"}{print $0}' reg.txt|column -t
姓     名        号码        捐款记录
Zhang  Dandan    41117397    :250:100:175
Zhang  Xiaoyu    390320151   :155:90:201
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50:95:135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175

用于计算:
[root@oldboyedu ~]# awk "BEGIN{print 2+2}"
4
[root@oldboyedu ~]# awk "BEGIN{print 2-2}"
0
[root@oldboyedu ~]# awk "BEGIN{print 2*2}"
4
[root@oldboyedu ~]# awk "BEGIN{print 3/2}"
1.5
[root@oldboyedu ~]# awk "BEGIN{print 3^2}"
9
[root@oldboyedu ~]# awk "BEGIN{print 3^3}"
27
[root@oldboyedu ~]# awk "BEGIN{print 3**3}"
27
[root@oldboyedu ~]# awk "BEGIN{print 5%3}"
2

修改内置变量:
NF:  取出最后一列
     # awk '{print $(NF-1)}' reg.txt   --- 取出倒数第二列
NR:  表示行信息
FS:  指定列分隔符, 默认识别空格为分割符
     [root@oldboyedu ~]# awk 'BEGIN{FS="[: ]+"}{print $4}' reg.txt
     250
     155
     250
     250
     250
     50
     250
     175
     250
     [root@oldboyedu ~]# awk -vFS="[: ]+"  '{print $1,$4}' reg.txt
     Zhang 250
     Zhang 155
     Meng 250
     Wu 250
     Liu 250
     Wang 50
     Zi 250
     Li 175
     Lao 250
END{动作}:    在处理文件之后,再做什么事情
[root@oldboyedu ~]# awk  'BEGIN{print "姓","名","号码","捐款记录"}{print $0}END{print "学生捐款登记表"}' reg.txt|column -t
姓              名        号码        捐款记录
Zhang           Dandan    41117397    :250:100:175
Zhang           Xiaoyu    390320151   :155:90:201
Meng            Feixue    80042789    :250:60:50
Wu              Waiwai    70271111    :250:80:75
Liu             Bingbing  41117483    :250:100:175
Wang            Xiaoai    3515064655  :50:95:135
Zi              Gege      1986787350  :250:168:200
Li              Youjiu    918391635   :175:75:300
Lao             Nanhai    918391635   :250:100:175

7` awk对文件进行统计分析

1) awk统计运算公式
a 文本信息累加运算
  i=i+1
  统计文件行数
  awk '{i=i+1}END{print i}' test.txt
  
  [root@oldboyedu ~]# awk '/oldboy/{i=i+1}END{print i}' test.txt 
  4
  [root@oldboyedu ~]# awk '/oldboy/{i++}END{print i}' test.txt 
  4
b 数值信息求和运算  
  sum=sum+$n  $n  你要对文件第几列信息做求和运算 
  # seq 10|awk '{sum=sum+$1}END{print sum}'
  55

找出有faild信息, 总共出现了多少次 (awk统计)
难点: windows文件如何传输到linux系统
yum install -y lrzsz   --- 实现windows和linux系统之间数据传输
rz  -- 将windows数据  ---> linux系统
sz  -- 将linux数据    ---> windows系统
    
awk '/Failed/{i++}END{print i}' secure-20161219
awk '$6~/Failed/{i++}END{print i}' secure-20161219'

08. 课程知识梳理:

1) awk命令概念介绍: 语法 原理 BEGIN 处理文件 END  
2) awk命令操作说明: 作用 查询 排除 替换 
   参数:
   -F  : 指定列分割符号
   -v  : 指定变量信息    
   动作:
   print : 输出指定信息
   gsub  : 替换指定信息
   符号:
   ~   : 匹配信息         按照指定列进行匹配
   !~  : 将匹配的信息取反
   //  : 指定匹配信息
3) awk命令模式分类 
   BEGIN{}:  处理文件前, 执行什么动作 
   END{}:    处理文件后, 执行什么动作  
   内置变量: FS NF NR --$0
4) awk命令实现运算功能
   累加公式: i=i+1      i++
   求和运算: sum=sum+$n