Liunx文本处理三剑客之awk

   AWK是Aho, Weinberger, Kernighan三个开发者的首字母，最早用于Unix中，后用于Liunx中称为gawk（GUN awk），是Linux中文本处理三剑客之一，它是一个报告生成器，可以格式化文本并输出。下面所说的awk即gawk，那么我们一块来看一awk常用的用法：

   gawk - pattern scanning and processing language 

   字面翻译为：模式扫描及处理语言。也可以说他是一个简单的编程语言。工作原理如下：

     按行读取文本，并根据指明输入时用到的分隔符（默认为空格），将数据切割成N个片段，并在awk内部自动给每个片段分配一个内建变量（$1,$2,$3...$n）来存储片段数据。输出时可以输出个别片段或内个片段，也可以对每一片段做加工处理后再输出。输出整行可以用$0表示。

   基本用法：awk [options] 'program' FILE ...

     其中program格式为：PATTERN（模式）{ACTION STATEMENTS（动作语句）}

       可以有多个语句，语句之间用分号隔开；

       动作语句相当于bash脚本中的命令，但此处是awk的内建命令；

     常用选项：

       -F：指明输入时用到的字段分隔符；默认为空白字符；

       -v var=value：自定义变量；每用一次-v可定义一个变量；

   接下来将对awk常用的命令及操作做详细介绍：

    1、print命令：

     格式：print item1,item2,... 表示输出字段

     要点：

       （1）多个片段用逗号分隔；

       （2）输出的各item可以是字符串，也可以是数值；当前记录的字段、变量或awk的表达式；

       （3）如省略item，相当于print $0，输出整行；

     例如：awk -F: '{print "username:"$1,"UID:"$3}' /etc/passwd

    2、变量：

     2.1内建变量：       

       FS：input field seperator，输入字段分隔符，默认为空白字符；

   OFS：output field seperator，输出字段分隔符，默认为空白字符；

   RS：input record seperator，输入时的换行符；

   ORS：output record seperator，输出时的换行符；

       NF：number of field，每一行字段数量，自动保存一个内建的NF变量中；

        例如：显示/etc/passwd每行字段数；

        可以看到/etc/passwd每行都为7个字段。

        对比NF和$NF不同处：

        可以看到$NF表示最后一个字段内容。

        注意：awk内部引用变量时不能加$符号。

       NR：number of record, 文件中行数；

       FNR：各文件分别计数；行数；

        例如：分别显示/etc/passwd和/etc/fstab两个文件的行数：

        它是分别以每一行统计的。

       FILENAME：当前正在处理文件的文件名；

        每一行都会显示当前处理的文件名。

       ARGC：命令行参数的个数；

        为什么会是2个参数？下面会说明。BEGIN用法会在后面介绍。

       ARGV：数组，保存的是命令行所给定的各参数；

        这下明白为什么上面的参数会是两个了吧！

     2.2自定义变量：

       （1）-v var=value 每一个-v定义一个变量；

       （2）在program中直接定义

        注意：变量名区分字符大小写。

    3、printf命令：

     格式：printf FORMAT(格式符), item1, item2, ... 

       表示格式化输出，每个item以前面给定的格式控制符显示输出。

     要点：    

       (1) FORMAT必须给出; 

   (2) 不会自动换行，需要显式给出换行控制符，\n

   (3) FORMAT中需要分别为后面的每个item指定一个格式化符号；

     格式符：使用时需要用双引号引起来

   %c: 显示字符的ASCII码；

   %d, %i: 显示十进制整数；

   %e, %E: 科学计数法数值显示；

   %f：显示为浮点数；

   %g, %G：以科学计数法或浮点形式显示数值；

   %s：显示字符串；

   %u：无符号整数；

   %%: 显示%自身；

        例如：awk -F: '{printf "username:%s UID:%d\n",$1,$3}' /etc/passwd

     修饰符：控制格式显示机制

   #[.#]：第一个数字控制显示的宽度；第二个#表示小数点后的精度；

   -: 左对齐，默认为右对齐；

   +：显示数值的符号

    例如：awk -F: '{printf "Username:%-15s UID:%d\n",$1,$3}' /etc/passwd

        是不是比上面的输出美观了很多。

     4、操作符

       算术操作符：

x+y, x-y, x*y, x/y, x^y, x%y

-x：负值；

+x: 转换为数值；

   字符串操作符：没有符号的操作符，字符串连接；

   赋值操作符：

=, +=, -=, *=, /=, %=, ^=

++, --

   比较操作符：

>, >=, <, <=, !=, ==

   模式匹配符：

~：是否匹配

!~：是否不匹配

   逻辑操作符：

&&：与

||：或

!：非

   函数调用：

function_name(argu1（传递参数）, argu2, ...)

   条件表达式：

selector（条件表达式）?if-true-expression:if-false-expression

        例如：将/etc/passwd文件中UID大于等1000的标为普通用户，小于1000的标为root或系统用户：

    5、PATTERN:

     (1) empty：空模式，匹配每一行；

     (2) /regular expression/（正则表达式）：仅处理能够被此处的模式匹配到的行；

    

     (3) relational expression: 关系表达式；结果有“真”有“假”；结果为“真”才会被处理；

       真：结果为非0值，非空字符串；

       例如：显示出/etc/passwd文件内默认shell为/bin/bash的用户：

     (4) line ranges：行范围；

       startline,endline：/pat1/,/pat2/

     （5）BEGIN/END模式：

       BEGIN{}: 仅在开始处理文件中的文本之前执行一次；

       END{}：仅在文本处理完成之后，命令结束之前执行一次；

       例如：命令：awk -F: 'BEGIN{print "Username          UID\n-----------------------"}{printf "%-18s%-10d\n",$1,$3}END{print "=========================\n                  END"}' /etc/passwd

       输出结果：

   6、常用的action

(1) Expressions 表达式；

(2) Control statements：控制语句if, while等；

(3) Compound statements：组合语句；

(4) input statements 输入语句；

(5) output statements 输出语句；

    7、控制语句：

     7.1 if-else语句：

       语法：if(condition) statement [else statement]

       使用场景：对awk取得的整行或某个字段做条件判断；

       例如：还是将/etc/passwd文件中UID大于等1000的标为普通用户，小于1000的标为root或系统用户：

     7.2 while循环：

       语法：while(condition) statement

        条件“真”，进入循环；条件“假”，退出循环；

       使用场景：对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用；

       例如：统计/etc/grub2.cfg中以linux16开头的行的每字段的字符长度：

       其中length()是awk内建函数，用于统计字符长度；

     7.3 do-while循环：

       语法：do statement while(condition)

        意义：至少执行一次循环体；

     7.4 for循环：

       语法：for(expr1;expr2;expr3) statement

        for(variable assignment;condition;iteration process) {for-body}

       例如：还是统计/etc/grub2.cfg中以linux16开头的行的每字段的字符长度，用for循环实现：

 

     特殊用法：

   能够遍历数组中的元素；

语法：for(var in array) {for-body}

        将在后面数组中介绍；

     7.5 switch语句：

       语法：switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/:

         statement; ...; default: statement}

     7.6 break和continue

       break [n]

       continue

       语法同bash脚本中语法类似，不再详述；

     7.7 next语句：

       提前结束对本行的处理而直接进入下一行；

       例如：显示出/etc/passwd中UID为奇数的用户名及UID

    8、array 数组：

     关联数组：array[index-expression]

       关联数组：array[index-expression]

        (1) 可使用任意字符串；字符串要使用双引号；不可随意使用单引号；

        (2) 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”；    

     若要遍历数组中的每个元素，要使用for循环；

       for(var in array) {for-body}

       例如：统计/etc/fstab文件中每个单词出现的次数：

    9、函数

     awk内置函数：

       数值处理：

        rand()：返回0和1之间一个随机数；

       字符串处理：

length([s])：返回指定字符串的长度；

sub(r,s,[t])：以r表示的模式来查找t所表示的字符中的匹配的内容，

               并将其第一次出现替换为s所表示的内容；

gsub(r,s,[t])：以r表示的模式来查找t所表示的字符中的匹配的内容，

               并将其所有出现均替换为s所表示的内容；

split(s,a[,r])：以r为分隔符切割字符s，并将切割后的结果保存至a所表示的数组中；

        例如：统计通过TCP连接至本主机的主机的IP及连接次数：

    至此对awk的总结完毕，希望对学习者有所帮助！