一行命令拆解awk结构的简易简易简易简易教程

学习任何新事物,开始的时候最需要的是一个最简模型,然后根据逐步的应用和思考,不断去内化、消化新的知识完善模型。
by 落花僧


来了个需求

处理存放在文件中的数据的时候,一般都是逻辑上结构化的文本,这个文本:

  1. 有很多行
  2. 每行有多个字段(column)

例如标准的CSV文件:(customers.csv)

id,name,gender,age
1,小王,男,30
2,小李,女,25
3,小张,男,28

1. 老板的需求 - 版本1

找出公司年龄30岁以下的客户名单(虽然公司刚起步,只有3个客户)

> awk  -F, '{if ($4<30) print $0;}' customers.csv
2,小李,女,25
3,小张,男,28

发生了什么?分解这行命令:

  1. -F, F表示每行字段的分割符,awk默认为空格,这里指定为逗号“,”,在F后面直接跟逗号是简写,也可以中间空格写成 -F "," 形式。
  2. 单引号: 表示告诉awk这个是需要执行的逻辑代码,需要使用大括号括起来。
  3. if判断:标准的C系语法,$4表示第四列(注意awk处理的第几列是从1开始的)。
  4. 最后的customers.csv是要处理的文件。

print语句是进入条件判断后的执行语句,这里可以省略大括号:

  • 这两行等同
    awk -F, '{if ($4<30) print $0;}' customers.csv
    awk -F, '{if ($4<30) {print $0;}}' customers.csv

那么'{if ($4<30) print $0;}' 这句代码是什么时候执行的呢?

awk执行逻辑:

  1. 从文件第一行开始读取
  2. 每读取一行后执行'{if ($4<30) print $0;}'
  3. 有多少行就执行多少次'{if ($4<30) print $0;}' ,所以这里的$4,$0分别对应当前处理行的第4列内容、所有内容(整行),这里如果你不需要条件判断,只需要第一列和第二列可以awk -F, '{print $1,$2;}' customers.csv
    (ps 每条语句以分号结束,可以省略)

2. 老板又来了需求 - 版本2

找出所有男客户,并且输出结果分隔符改使用冒号":", 然后文件最后一行统计下总行数。
好像需求看起来有点复杂了,那么我们将其拆分为3个简单的子需求吧:

# 1 将整个文件的分割符替换为冒号
> awk  -F, 'BEGIN{OFS=":";}  {print $1,$2,$3,$4;}' customers.csv
id:name:gender:age
1:小王:男:30
2:小李:女:25
3:小张:男:28

# 2 输出男客户
> awk  -F, '/男/ {print $0;}' customers.csv
1,小王,男,30
3,小张,男,28

# 3 文件最后一行计数
> awk  -F, '{print $0; rows_count+=1;} END{printf("共%s行\n",rows_count);}' customers.csv
id,name,gender,age
1,小王,男,30
2,小李,女,25
3,小张,男,28
共4行

这里引入了三个不认识的模块

  1. BEGIN{OFS=":"}
  2. /男/
  3. END{printf("共%s行\n",rows_count);}

这三个模块加上我们认识的{print $0; rows_count+=1;}就是整个awk的全部结构,合在一起的一行命令就是:

> awk  -F, 'BEGIN{OFS=":";} /男/ {print $1,$2,$3,$4; rows_count+=1;} END{printf("共%s行\n",rows_count);}' customers.csv
1:小王:男:30
3:小张:男:28
共2行

我们对整个结构进行拆解:

awk -F, 'BEGIN{OFS=":";} /男/ {print $1,$2,$3,$4; rows_count+=1;} END{printf("共%s行\n",rows_count);}' customers.csv

1.开始模块 [可省] BEGIN{OFS=":";}
关键词为BEGIN{}形式,{}中放需要执行的语句,begin模块是整个awk启动后在遍历文件之前执行,只执行一次,OFS是Out of Field Separator首字母间写,表示输出字段的分隔符,这里赋值为冒号。

2.条件模块 [可省] /男/
这里是一个正则表达式,作为条件过滤,是每行都会执行的代码。

3.行为模块 {print $1,$2,$3,$4; rows_count+=1;}
每行都执行的代码,是最重要唯一不可省的模块。这里除了打印4个列的值,还有一个自增变量rows_count

4.结束模块 [可省] END{printf("共%s行\n",rows_count);}
结束模块为END{}形式,和开始模块对应,可以读取前面模块的变量。
本例中读取了在行为模块中rows_count这个自增变量。


总结

我们在处理一个文件的时候,往往需要涉及for循环遍历,条件判断筛选等操作,awk相当于提供了一个这个层次的抽象工具,我们只要对应在4个模块中写入相应的逻辑即可,这样让处理程序的代码更简洁,甚至让平时经常需要的任务用一行非常简短的命令就可以完成。

你可能感兴趣的:(一行命令拆解awk结构的简易简易简易简易教程)