第十九节课操作系统awk命令

1. 课程知识回顾(提问环节)

   1. sed命令作用了解
      语法: sed [参数] '条件 指令' 文件信息
   2. sed命令实际应用
      查询数据信息 sed -n '/查询信息/p' 文件信息
      添加数据信息 sed -i.bak '条件信息 i/a 添加的内容' 文件信息
      删除数据信息 sed -ri.bak '/条件01|条件02/d' 文件信息
      替换数据信息 sed -i.bak 's#要替换的信息#替换成什么信息#g' 文件信息
      sed -ri.bak 's#要替换的信息(保留信息)#替换成什么信息\1#g' 文件信息
      sed -i.bak 's#正则匹配信息#&#g' 文件信息
      sed -i.bak '3c oldboy' 文件信息
   3. sed命令测验练习
      1. 利用sed命令取出IP地址
      2. 利用sed命令批量创建用户
      3. 利用sed命令取出文件权限
      4. 利用sed命令批量修改文件扩展名
      5. 利用sed命令编写脚本
         修改服务器IP地址信息脚本 sh change_ip.sh

2. 三剑客命令awk概述
   gawk : pattern scanning and processing language
   可以进行模式扫描 和 是一门语言
   语法 : awk [参数] '模式{动作}' 文件
   sed [参数] '条件 指令' 文件信息
   原理 :

3. 三剑客命令awk作用
   处理文件信息: 文本文件信息 日志文件信息 配置文件信息
   处理文件方式: 排除信息 查询信息 统计信息 替换信息
   对文件列进行处理

4. 三剑客命令awk操作
   创建测试环境
   [root@oldboyedu ~]# cat reg.txt
   Zhang Dandan 41117397 :250:100:175
   Zhang Xiaoyu 390320151 :155:90:201
   Meng Feixue 80042789 :250:60:50
   Wu Waiwai 70271111 :250:80:75
   Liu Bingbing 41117483 :250:100:175
   Wang Xiaoai 3515064655 :50 :95 :135
   Zi Gege 1986787350 :250:168:200
   Li Youjiu 918391635 :175:75:300
   Lao Nanhai 918391635 :250:100:175

   1. 显示xiaoyu的姓氏和ID号码
      awk '{print 3}' 文件信息
      第一个步骤: 找出需要编写模式信息
      获取xiaoyu信息
      awk '/Xiaoyu/' reg.txt
      awk '2~/Xiaoyu/{动作}' reg.txt
      awk '1 2~/Xiaoyu/{print 3}' reg.txt
      Zhang 390320151
      [root@oldboyedu ~]# awk '1" "$3}' reg.txt
      Zhang 390320151

   2. 姓氏是Zhang的人,显示他的第二次捐款金额及他的名字
      第一个步骤: 找出需要编写模式信息
      awk '1~/Zhang/{print 2,1~/Zhang/{print 1~/Zhang/{print 2,$5}' reg.txt
      Zhang Dandan 100
      Zhang Xiaoyu 90

   3. 显示所有以41开头的ID号码的人的全名和ID号码
      第一个步骤: 找出需要编写模式信息
      awk '3~/^41/{print 2,3~/^41/{print 2,3~/^41/{print 2,$3}' reg.txt|column -t
      Zhang Dandan 41117397
      Liu Bingbing 41117483

   4. 显示所有ID号码最后一位数字是1或5的人的全名
      第一个步骤: 找出需要编写模式信息
      awk '|53~/[15]3~/(1|5)3~/[15]1,3~/[15]1,3}' reg.txt|column -t
      Zhang Xiaoyu 390320151
      Wu Waiwai 70271111
      Wang Xiaoai 3515064655
      Li Youjiu 918391635
      Lao Nanhai 918391635

   5. 获取文件中有井号或空行的内容, 将空行和井号信息的行排除
      第一个步骤: 找出需要编写模式信息
      awk '/#|^0~/#|^0 表示将文件所有列信息进行显示
      awk '/' reg.txt
      awk '!/#|^0!~/#|^0!~/#|^0}' reg.txt
      Zhang Dandan 41117397 :250:100:175
      Meng Feixue 80042789 :250:60:50
      Wu Waiwai 70271111 :250:80:75
      Liu Bingbing 41117483 :250:100:175
      Zi Gege 1986787350 :250:168:200
      Li Youjiu 918391635 :175:75:300
      Lao Nanhai 918391635 :250:100:175
      Lao Nanhai Xiaoyu :250:100:175

   6. 显示Xiaoyu的捐款,每个捐款数额都是以110330
      awk '4}' reg.txt|sed 's#:#2~/Xiaoyu/{print '
      awk -F "[: ]+" '"""$6}' reg.txt

      awk替换
      gsub = gawk substitute
      gsub(/要替换的信息/,"替换成什么".2~/Xiaoyu/{gsub(/:/,"NF);print 155201
      说明: $NF 表示文件的最后一列信息

5. awk命令模式分类
   普通模式: 比较行信息
   [root@oldboyedu ~]# cat reg.txt
   Zhang Dandan 41117397 :250:100:175
   Zhang Xiaoyu 390320151 :155:90:201
   Meng Feixue 80042789 :250:60:50
   Wu Waiwai 70271111 :250:80:75
   Liu Bingbing 41117483 :250:100:175
   Wang Xiaoai 3515064655 :50:95:135
   Zi Gege 1986787350 :250:168:200
   Li Youjiu 918391635 :175:75:300
   Lao Nanhai 918391635 :250:100:175
   [root@oldboyedu ~]# awk 'NR>2' reg.txt
   Meng Feixue 80042789 :250:60:50
   Wu Waiwai 70271111 :250:80:75
   Liu Bingbing 41117483 :250:100:175
   Wang Xiaoai 3515064655 :50:95:135
   Zi Gege 1986787350 :250:168:200
   Li Youjiu 918391635 :175:75:300
   Lao Nanhai 918391635 :250:100:175
   [root@oldboyedu ~]# awk 'NR<2' reg.txt
   Zhang Dandan 41117397 :250:100:175
   说明: NR 表示文件行信息

   取出多行信息
   [root@oldboyedu ~]# awk 'NR==2,NR==4' reg.txt --- 连续多行
   Zhang Xiaoyu 390320151 :155:90:201
   Meng Feixue 80042789 :250:60:50
   Wu Waiwai 70271111 :250:80:75
   [root@oldboyedu ~]# awk 'NR==2;NR==4' reg.txt --- 不连续多行
   Zhang Xiaoyu 390320151 :155:90:201
   Wu Waiwai 70271111 :250:80:75

   特殊模式:
   BEGIN{动作}: 在处理文件之前,先做什么事情
   [root@oldboyedu ~]# awk 'BEGIN{print "姓","名","号码","捐款记录"}{print $0}' reg.txt|column -t
   姓 名 号码 捐款记录
   Zhang Dandan 41117397 :250:100:175
   Zhang Xiaoyu 390320151 :155:90:201
   Meng Feixue 80042789 :250:60:50
   Wu Waiwai 70271111 :250:80:75
   Liu Bingbing 41117483 :250:100:175
   Wang Xiaoai 3515064655 :50:95:135
   Zi Gege 1986787350 :250:168:200
   Li Youjiu 918391635 :175:75:300
   Lao Nanhai 918391635 :250:100:175

   用于计算:
   [root@oldboyedu ~]# awk "BEGIN{print 2+2}"
   4
   [root@oldboyedu ~]# awk "BEGIN{print 2-2}"
   0
   [root@oldboyedu ~]# awk "BEGIN{print 22}"
   4
   [root@oldboyedu ~]# awk "BEGIN{print 3/2}"
   1.5
   [root@oldboyedu ~]# awk "BEGIN{print 3^2}"
   9
   [root@oldboyedu ~]# awk "BEGIN{print 3^3}"
   27
   [root@oldboyedu ~]# awk "BEGIN{print 3*3}"
   27
   [root@oldboyedu ~]# awk "BEGIN{print 5%3}"
   2

   修改内置变量:
   NF: 取出最后一列
   # awk '{print 4}' reg.txt
   250
   155
   250
   250
   250
   50
   250
   175
   250
   [root@oldboyedu ~]# awk -vFS="[: ]+" '{print 4}' reg.txt
   Zhang 250
   Zhang 155
   Meng 250
   Wu 250
   Liu 250
   Wang 50
   Zi 250
   Li 175
   Lao 250

   END{动作}: 在处理文件之后,再做什么事情
   [root@oldboyedu ~]# awk 'BEGIN{print "姓","名","号码","捐款记录"}{print $0}END{print "学生捐款登记表"}' reg.txt|column -t
   姓 名 号码 捐款记录
   Zhang Dandan 41117397 :250:100:175
   Zhang Xiaoyu 390320151 :155:90:201
   Meng Feixue 80042789 :250:60:50
   Wu Waiwai 70271111 :250:80:75
   Liu Bingbing 41117483 :250:100:175
   Wang Xiaoai 3515064655 :50:95:135
   Zi Gege 1986787350 :250:168:200
   Li Youjiu 918391635 :175:75:300
   Lao Nanhai 918391635 :250:100:175
   学生捐款登记表

   实际作用:
   可以将统计后的最终结果进行输出

6. awk对文件进行统计分析

   1. awk统计运算公式
      a 文本信息累加运算
      i=i+1
      统计文件行数
      awk '{i=i+1}END{print i}' test.txt

   [root@oldboyedu ~]# awk '/oldboy/{i=i+1}END{print i}' test.txt
   4
   [root@oldboyedu ~]# awk '/oldboy/{i++}END{print i}' test.txt
   4
   b 数值信息求和运算
   sum=sum+n 你要对文件第几列信息做求和运算

   seq 10|awk '{sum=sum+$1}END{print sum}'

   55

   找出有faild信息, 总共出现了多少次 (awk统计)
   难点: windows文件如何传输到linux系统
   yum install -y lrzsz --- 实现windows和linux系统之间数据传输
   rz -- 将windows数据 ---> linux系统
   sz -- 将linux数据 ---> windows系统

   awk '/Failed/{i++}END{print i}' secure-20161219
   awk '$6~/Failed/{i++}END{print i}' secure-20161219'

7. 课程知识梳理:

   1. awk命令概念介绍: 语法 原理 BEGIN 处理文件 END
   2. awk命令操作说明: 作用 查询 排除 替换
      参数:
      -F : 指定列分割符号
      -v : 指定变量信息
      动作:
      print : 输出指定信息
      gsub : 替换指定信息
      符号:
      ~ : 匹配信息 按照指定列进行匹配
      !~ : 将匹配的信息取反
      // : 指定匹配信息
   3. awk命令模式分类
      BEGIN{}: 处理文件前, 执行什么动作
      END{}: 处理文件后, 执行什么动作
      内置变量: FS NF NR --$0
   4. awk命令实现运算功能
      累加公式: i=i+1 i++
      求和运算: sum=sum+$n