Linux 三剑客之AWK
3. Awk
3.1 语法
AWK 命令模式：地址+动作
awk '/search pattern/ {actions}' file
地址通过正则表达式匹配得到，AWK默认采用ERE 模式。
3.2 参数
| 参数 | 含义 |
|---|---|
| -F | field-separator, 字段分隔符 |
| -f | 引入awk脚本 |
| -v | -v var=val， 设置变量值 |
字段 与 记录
记录: 类似于数据库中的一行数据，一行数据称为记录。默认通过换行符进行分隔。
字段: 一条记录由多个字段组成。默认采用空格进去分隔。
记录：Gawk is the GNU Project’s implementation of the AWK programming language.
字段：默认通过空格分隔字段，因而上述记录中，每个单词为一个字段。
3.3 变量
| 变量名 | 含义 |
|---|---|
| RS | 输入记录分隔符，默认换行 |
| FS | 输入字段分隔符，默认空格 |
| ORS | 输出记录分隔符，默认换行 |
| OFS | 输出字段分隔符，默认空格 |
| NF | 当前记录中字段数量 |
| NR | 当前已经处理的记录数 |
cat text
a:b:c
awk:sed:grep
awk -F: '{print $1}' text
awk -v FS=: '{print $1}' text
awk -F: '{print $NF}' text
可以通过改变内置变量来控制各个分隔符。字段分隔符既可以通过改变内置变量，又可以通过参数-F进行指定。
3.4 脚本
3.3.1 表达式
操作符
| 操作符 | 含义 |
|---|---|
| +, -, *, /, % | 加，减，乘，除, 取余 |
| ++, - - | 自增，自减 （both前置and后置） |
| &&，双竖线 | 逻辑操作 |
| ?: | 三元条件， exp1 ？ exp2 : exp3 |
| …… | …… |
in: 判断数组是否存在某个索引。awk中数组都是关联数组。
code> echo 1 | awk '{ my_arr[1] = 3; if (1 in my_arr) print "exist"; }'
out> exist
delete: 删除数组中索引+元素。
code> echo 1 | awk '{my_arr[1] = 3; delete my_arr[1]; if (!(1 in my_arr)) print "not exist";}'
out > not exist
exit: 退出awk语句，停止执行。
BEGIN {
print “begin";
}
{
print "body"
}
END {
print "end"
}
情况一：如果exit出现在BEGIN块中，则Body语句块与END语句块都会被执行。
情况二：如果exit出现在body块中，则BEGIN，END语句块会被执行
情况三：如果exit出现在END块中，则BEGIN，body语句块被执行。
BEGIN {
print "begin"
}
{
print "body1"
exit 1
print "body2"
};
END {
print "end"
};
code> echo 1 | awk -f test.awk
out > begin
body1
end
break: 循环控制
continue 循环控制
3.3.2 语句
if (condition) statement [ else statement ]
while (condition) statement
do statement while (condition)
for (expr1; expr2; expr3) statment
for (var in array) statement
3.3.3 函数
自定义函数
function function_name(parameter list) { statements }
NOTE: 函数参数为局部变量，而函数内部定义的变量为全局变量
cat test.awk
function myawk(text)
{
my_text = text" world!"
}
{
myawk("hello")
print my_text
}
---------------
echo 1 | awk -f test.awk
hello world!
内置函数
数学函数
sqrt
sin
rand
srand
echo 1 | awk '{srand(); print rand();}'
字符串函数
length
tolower
toupper
index(s, t):返回s中匹配t的位置。
code> echo 1 | awk '{s="spch2008"; print index(s, "2008");}'
out > 5
match(s, r): 在s中匹配r，返回匹配s的位置。内置变量RSTART返回匹配位置，RLENGTH返回匹配长度。
code> echo 1 | awk '{s="spch2008"; match(s, "2008"); print RLENGTH;}'
out > 4
NOTE: index 与 match的区别：
t表示普通串，而r表示可以使用正则。
split(s, a, [, r]): 将字符串s，以r分隔，分隔后，放于数组a中；返回数组大小。
code> echo 1 | awk '{s="a:b:c:d"; split(s, a, ":"); for(slot in a) printf "%s ", a[slot]}'
out > d a b c
Note: for (item in array) 语句不保证按顺序输出，若要按顺序输出，采用for(i = 1; i < n; i++)
sprintf(fmt, expr-list):类似C的sprintf，格式化字符串。通过返回值，得到格式的字符串。
code> echo 1 | awk '{print sprintf("Hello %s", "Tom")}'
out > Hello Tom
strtonum(str): 字符串转数字。若字符串有前导0，则认为是8进制；若前导0x，则认为16进制。
code> echo 1 | awk '{print strtonum("0x10")}'
out > 16
sub(r, s, [, t]): 将t中，匹配r的部分，替换成s。若t为空，则使用$0。
code> echo 1 | awk '{t="spch2008"; sub("/2008/", "1234", t); print t}'
out > spch1234
substr(s, i [,n]): 字符串截取。从位置i开始，截取n个；若n为空，则截取到字符串尾。
code> echo 1 | awk '{print substr("spch2008", 5, 4)}'
out > spch2008
IO函数
print: 简单打印
printf： 类似于C的printf
echo 1 | awk '{msg = "Hello"; printf "%s World!\n", msg;}'
next： 停止对当前记录进行任何规则得处理，强制处理下一条记录。