shell学习笔记3---awk的执行过程(原创)

awk_script的组成
1、awk_script可以由一条或多条awk_cmd组成，两条awk_cmd之间一般以NEWLINE分隔
2、awk_cmd由两部分组成: awk_pattern { actions }
3、awk_script可以被分成多行书写，必须确保整个awk_script被单引号括起来。
awk命令的一般形式
awk ' BEGIN { actions }
awk_pattern1 { actions }
............
awk_patternN { actions }
END { actions }
' inputfile
其中 BEGIN { actions } 和 END { actions } 是可选的。
awk的运行过程
1、如果BEGIN 区块存在，awk执行它指定的actions。
2、awk从输入文件中读取一行，称为一条输入记录。如果输入文件省略，将从标准输入读取
3、awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量FS或由参数指定。
4、把当前输入记录(数据行)依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。
5、当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤3和4，这个过程一直持续，直到awk读取到文件尾。
6、当awk读完所有的输入行后，如果存在END，就执行相应的actions。
其中iput_file可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。awk会先对输入文件执行完所有的action后再处理下一个文件，看如下例子

$ cat file1
a 1
b 2
$ cat file2
d 4
c 3
$ awk '{print $0} {print $1}' file1 file2
a 1
a
b 2
b
d 4
d
c 3
c

另外有以下4点需要注意：
1、一条awk_cmd的awk_pattern可以省略，省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions也可以省略，省略时默认的动作为打印当前输入记录(print $0) 。一条awk_cmd中的awk_pattern和actions不能同时省略。
2、BEGIN区块和END区块别位于awk_script的开头和结尾。awk_script中只有END区块或者只有BEGIN区块是被允许的。如果awk_script中只有BEGIN { actions } ，awk不会读取input_file。
3、awk把输入文件的数据读入内存，然后操作内存中的输入数据副本，awk不会修改输入文件的内容。
4、awk的总是输出到标准输出，如果想让awk输出到文件，可以使用重定向。
awk_pattern
awk_pattern模式部分决定actions动作部分何时触发及触发actions。awk_pattern可以是以下几种类型:
正则表达式用作awk_pattern: /regexp/
1、awk中正则表达式匹配操作中经常用到的字符:
^ $ . [] | () * // 通用的regexp元字符
+ : 匹配其前的单个字符一次以上，是awk自有的元字符，不适用于grep或sed等
? : 匹配其前的单个字符1次或0次，是awk自有的元字符，不适用于grep或sed等
2、举例:
awk '/ *$0.[0-9][0-9].*/' input_file
布尔表达式用作awk_pattern，表达式成立时，触发相应的actions执行。
1、表达式中可以使用变量(如字段变量$1,$2等)和/regexp/
2、布尔表达式中的操作符:
关系操作符: < > <= >= == !=
匹配操作符: value ~ /regexp/ 如果value匹配/regexp/，则返回真；value !~ /regexp/ 如果value不匹配/regexp/，则返回真
举例:

awk '$2 > 10 {print "ok"}' input_file
awk '$3 ~ /^d/ {print "ok"}' input_file
3、&&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式，构成混合表达式。!(非) 可以用于布尔表达式或者/regexp/之前。
举例

awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_file
awk '/^d/ || /x$/ {print "ok"}' input_file
4、其它表达式用作awk_script，如赋值表达式等
eg:
awk '(tot+=$6); END{print "total points :" tot }' input_file     // 分号不能省略
awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file // 与上面等效
actions
actions就是对awk读取的记录数据进行的操作。actions由一条或多条语句或者命令组成，语句、命令之间用分号(;)分隔。actions中还可以使用流程控制结构的语句。
awk的命令:
1、print 参数列表 : print可以打印字符串(加双引号)、变量和表达式，是awk最基本的命令。参数列表要用逗号(,)分隔，如果参数间用空格分隔，打印出时参数值之间不会有空格。
2、printf ([格式控制符]，参数) : 格式化打印命令(函数)，语法与C语言的printf函数类似。
3、next : 强迫awk立刻停止处理当前的记录,而开始读取和处理下一条记录，改变脚本控制过程。
4、nextfile : 强迫awk立刻停止处理当前的输入文件而处理输入文件列表中的下一个文件
5、exit : 使awk停止执行而跳出。如果有END 存在，awk会去执行END 的actions。

6、getline:读取下一行数据，但不改变脚本控制过程。

关于exit,next和getline函数可以参见笔者的另一篇博客

http://czmmiao.iteye.com/blog/1885572

awk的语句: awk的语句主要是赋值语句，用来给变量赋值。
1、把直接值或一个变量值赋值给变量。如果直接值是字符串要加双引号。
举例

awk 'BEGIN {x=1 ; y=3 ; x=y ; print "x=" x " ; y=" y }'
2、把一个表达式的值赋值给变量。表达式一般是数值表达式，也可以是其它表达式。
数值表达式: num1 operator num2
operator可以是: +(加) -(减) *(乘) /(除) %(取模) ^(求幂)
当num1或者num2是字符串而是不是数字时，无论是否加有双引号，awk都视其值为0
条件选择表达式: A?B:C (A为布尔表达式，B和C可以是表达式或者直接值)
当布尔表达式A的值为真时，整个表达式的值为B，A的值为假时，整个表达式的值为C
举例

awk 'BEGIN {x=3 ; x+=2 ; y=x+2 ; print "x=" x " ; y=" y }'
awk 'BEGIN {x=3 ; y=x>4?"ok":4 ; print "x=" x " ; y=" y }'
3、为了方便书写，awk也支持C语言语法的赋值操作符: += -= *= /= %= ^= ++ --
流程控制结构
其中condition一般为布尔表达式，body和else-body是awk语句块。
1、if (condition) {then-body} [else {else-body}]
2、while (condition) {body}
3、do {body} while (condition)
4、for (initialization; condition; increment) {body}
与C语言的for结构的语法相同。
5、break : 跳出包含它的for、while、do-while 循环
6、continue : 跳过for、while、do-while循环的body的剩余部分，而立刻进行下一次循环的执行。

 

参考至：http://blog.chinaunix.net/uid-46353-id-2399597.html

                  http://blog.sina.com.cn/s/blog_6f02e1900100mmc5.html

本文原创，转载请注明出处、作者

如有错误，欢迎指正
邮箱:[email protected]