awk脚本教程

cat b_noshp.bat | gawk 'NF {print;print "echo -----",NR,NR,NR;}' > b_noshp_log.bat 

 

@roylez: bizarrely trapped

详解著名的awk oneliner，第一部分：空行、行号和计算

偶然在网上看到有人注释过的《awk oneliner》，而且注释的人声称“全部弄懂这 些就已经是awk高手了”，而我也一直想学下awk又懒得花时间，然后就觉得这个东 西一定很适合我。为了督促自己看完这个系列，决定整个给翻译一遍。说实话看了 第一篇之后觉得awk的语句也不是那么天书了。原作者是Peteris Krumins，一个很 酷的家伙，你可以在titter上follow他(Peteris Krumins)。

原文请见：http://www.catonmat.net/blog/awk-one-liners-explained-part-one/

将每行后面都添加一个空行

awk '1; { print "" }'

这是怎么意思呢？一个单行awk命令，其实也是一个用awk语言写的程序，每个awk程序，都是由一系列的“匹配模式 { 执行动作 }”语句所组成的。在这个例子里面，有两个语句，“1”和“{print ""}”。在每个“匹配模式——执行动作”语句中，模式和动作都是可以被省略的。如果匹配模式被省略，那么预定的动作将会对输入文件的每一行执行。如果动作被省略，那么就默认会执行{print }。所以，这个单行awk语句等同于下面的语句

awk '1 {print } {print ""}'

动作只有在匹配模式的值为真的时候才会执行。因为“1”永远为真，所以，这个例子也可以写成下面的形式

awk '{print } {print ""}'

awk中每条print语句后都默认会输出一个ORS变量（Output Record Separator，即输出行分隔符，默认为换行符）。第一个不带参数的print语句，等同于print $0，其中$0是代表整行内容的变量。第二个print语句什么也不输出，但是鉴于print语句后都会被自动加上ORS变量，这句的作用就是输出一个新行。于是每行后面加空行的目的就达到了。

添加空行的另一种方法

awk 'BEGIN { ORS="/n/n" }; 1'

BEGIN是一个特殊的模式，后面所接的内容，会在文件被读入前执行。这里，对ORS变量进行了重新定义，将一个换行符改成了两个。后面的“1”，同样等价于{print }，这样就达到了在每行后用新的ORS添加空行的目的。

在每个非空的行后面添加空行

awk 'NF {print $0 "/n"}'

这个语句里面用到了一个新的变量，NF（number of fields），即本行被分割成的字段的数目。例如，“this is a test”，会被awk分割成4个词语，NF的值就为4。当遇到空行，分割后的字段数为0，NF为0，后面的匹配动作就不会被执行。这条语句，可以理解成“如果这一行可以分割成任意大于0的部分，那么输出当前行以及一个换行符”。

在每行后添加两个空行

awk '1; {print "/n"}'

这一语句与前面的很相似。“1”可以理解为{print }，所以整个句子可以改写为

awk '{print ; print "/n"}'

它首先输出当前行，然后再输出一个换行符以及一个结束print语句的ORS，也就是另外一个换行符。

为每个文件的内容添加行号

awk '{ print FNR "/t" $0 }'

这个awk程序在每行的内容前添加了一个变量FNR的输出，并用一个制表符进行分隔。FNR（File Number of Row）这个变量记录了当前行在当前文件中的行数。在处理下一个文件时，这个变量会被重置为0。

为所有文件的所有行统一添加行号

awk '{print NR "/t" $0}'

这一句与上一例基本一样，除了使用的行号变量是NR（Number of Row），这个变量不会在处理新文件的时候被重置。所以说，如果你有2个文件，一个10行一个12行，那这个变量会从1一直变到22。

用更漂亮的样式添加行号

awk '{printf("%5d : %s/n", FNR, $0)}'

这个例子用了printf函数来自定义输出样式，它所接受的参数与标准C语言的printf函数基本一致。需要注意的是，printf后不会被自动添加ORS，所以你需要自己指定换行。这个语句指定了行号会右对齐，然后是一个空格和冒号，接着是当前行的内容。

为文件中的非空行添加行号

awk 'NF { $0=++a " :" $0}; {print }'

Awk的变量都是自动定义的：你第一次用到某个变量的时候它就自动被定义了。这个语句在每次遇到一个非空行的时候先把一个变量a加1，然后把a的数值添加到行首，然后输出当前行的内容。

计算文件行数（模拟 wc -l）

awk 'END {print NR}'

END是另外一个不会被检验是否为真的模式，后面的动作会在整个文件被读完后进行。这里是输出最终的行号，即文件的总行数。

对每行求和

awk '{s=0;for (i=0;i<NF;i++) s=s+$i; print s}'

Awk有些类似C语言的语法，比如这里的for (;;;){ ... }循环。这句命令会让程序遍历所有NF个字段，并把字段的总和存在变量s中，最后输出s的数值并处理下一行。

对所有行所有字段求和

awk '{for (i=0;i<NF;i++) s=s+$i; END {print s+0}'

这个例子与上一个基本一致，除了输出的是所有行所有字段的和。由于变量会被自动定义，s只需要定义一次，故而不需要把s定义成0。另外需要注意的是，它输出{print s+0}而非{print s}，这是因为如果文件为空，s不会被定义就不会有任何输出了，输出s+0可以保证在这种情况下也会输出更有意义的0。

将所有字段替换为其绝对值

awk '{ for (i = 1; i <= NF; i++) if ($i < 0) $i = -$i; print }'

这条语句用了C语言的另外两个特性，一个是if (...) {...}结构，另外就是省略了大括号。它检查对每一行，检查每个字段的值是否小于0，如果值小于0，则将其改为正数。字段名可以间接地用变量的形式引用，如i=5;$i='hello'会将第5个字段的内容置为hello。

下面的是将这条语句完整的写出来的形式。print语句会在行中所有字段被改为正数后执行。

awk '{
  for (i = 1; i <= NF; i++) {
    if ($i < 0) {
      $i = -$i;
    }
  }
  print
}'

计算文件中的总字段（单词）数

awk '{total=total+NF};END {print total+0}'

这个命令匹配所有的行，并不断的把行中的字段数累加到变量total。执行完成上述动作后，输出total的数值。

输出含有单词Beth的行的数目

awk '/Beth/ {n++}; END {print n+0}'

这个例子含有两个语句。第一句找出匹配/Beth/的行，并对变量n进行累加。在/.../之间的内容为正则表达式，/Beth/匹配所有含有“Beth”的单词（它不仅匹配Beth，同样也匹配Bethe）。第二句在文件处理完成后输出n的数值。这里用n+0是为了让n为0 的情况下输出0而不是一个空行。

寻找第一个字段为数字且最大的行

awk '$1 > max { max=$1; maxline=$0 }; END { print max, maxline }'

这个例子用变量max记录第一个字段的最大值，并把第一个字段最大的行的内容存在变量maxline中。在循环终止后，输出max和maxline的内容。注意：如果在数字都为负数的情况下，这个例子就不能用了，下面的是修改过的版本

awk 'NR == 1 { max = $1; maxline = $0; next; } $1 > max { max=$1; maxline=$0 }; END { print max, maxline }'

在每一行前添加输出该行的字段数

awk '{print NF ":" $0}'

这个例子仅仅是在逐行输出字段数NF，一个冒号，以及该行的内容。

输出每行的最后一个字段

awk '{print $NF}'

awk里面的字段可以用变量的形式引用。这一句输出第NF个字段的内容，而NF就是该行的字段数。

打印最后一行的最后一个字段

awk '{ field = $NF };END {print field}'

这个例子用field记录最后一个字段的内容，并在循环后输出field的内容。

这里是一个更好的版本。它更常用、更简洁也更高效：

awk 'END {print $NF}'

输出所有字段数大于4的行

awk 'NF > 4'

这个例子省略了要执行的动作。如前所述，省略动作等价于{print}。

输出所有最后一个字段大于4的行

awk '$NF > 4'

这个例子用$NF引用最后一个字段，如果它的数值大于4，那么就输出。