awk、sed、grep这三个命令并称为文本处理三剑客,但是awk的功能远远多出其他两个命令很多。最初由贝尔实验室研制。后来GUN组织在awk的基础上研制了gawk,现在我们在Linux使用的一般都是gawk这个命令,但是为了一些习惯,将awk作为gawk的链接,也就是说,现在在bash中使用awk还是使用gawk都是一样的。接下来为了方便,直接称之为awk。
那么awk到底好在哪里呢?它的好处是在于使用这个命令可以进行简单的编程,在使用别的命令的时候需要写一个脚本才能实现的功能,使用这个命令就可以直接实现。下面简单的介绍这个命令的格式:
awk [options] 'program' file...
program部分可以是: pattern{action statement;...}
pattern部分可以是:BEGIN,END,用来决定动作语句何时触发及通过什么事件触发,比如如果这里是“BEGIN”那么就是在这个命令执行之前执行,同理,“END”是在这个命令执行完毕后执行。“BEGIN”和“END0”都是可以选择的,没有也可以;
action statement 部分可以是:print,printf,它们是对数据进行处理的语句,通常放在一对{}之中,决定着在执行这个命令之后产生的数据如何的表达。
在使用awk对数据进行处理时,会根据特定的标识对数据进行分段,这种特定标识就是分隔符,默认是空白字符,可以通过“-F”来进行指定。经过分隔符分隔之后的每一个小分段,都称为一个分段(Field);默认awk会使用内置位置变量来存储各个字段的值;这些变量就是$1,$2,$3,...$N;由换行符分隔的数据中的每一行,就是一个记录;在awk处理数据的时候,使用$0保存整行的内容。
常用选项
-F:用来指明此次数据处理的字段分隔符,默认是空白分隔符
-v:var=value:用于自定义变量和为自定义变量赋初始值
对于变量,我们可以自己定义,也可以使用命令自己的变量,命令自己的变量有很多,比如:
FS:input field seperator,输入字段分隔符,默认空白字符
示例:
~]# awk -v FS=':' '{print $1}' /etc/passwd
OFS:outpit field seperator,输入字段分隔符,默认空白字符
示例:
~]# awk -v FS=':' -v OFS=':' '{print $1 $3}' /etc/passwd
RS:input record seperator,输入记录分隔符,默认换行符;
注意:即使指定了新的输入记录分隔符,原换行符仍然有效
示例:
~]# awk -v RS='/' '{print $0}' /etc/passwd
ORS:output record seperator,输出记录分隔符
NF:number of field,字段数量
(不加$输出这个变量的值,加上$输出最后一个字段)
示例:
~]# awk -v FS=':' '{print NF}' /etc/passwd ~]# awk -v FS=':' '{print $NF}' /etc/passwd ~]# awk -v FS=':' '{print $(NF-1)}' /etc/passwd
NR:number of record,行数;鉴于awk遍历文件每行的特性,可以将该变量理解为行号
示例:
~]# awk '{print NR}' /etc/passwd #(如果同时输出多个文件,那么行数会累加)
FNR:file number of record,分别统计各个文件的行数,行号
示例:
~]# awk '{print FNR}' /etc/passwd
FILENAME:输出当前正在处理的文件的文件名;
示例:
~]# awk '{print FILENAME}' /etc/passwd
ARGC:argument count,整个命令行中的参数的数量,包括命令本身算一个
示例:
~]# awk '{print ARGC}' /etc/passwd #(输出结果为2,awk '{print ARGC}'是1,/etc/passwd是2)
ARGV:数组,argument value,保存了命令行中各个参数的具体内容
示例:
~]# awk '{print ARGV[1]}' /etc/passwd #(输出结果为awk)
还可以自己定义变量,定义的方法如下:
-v var=value
注意:变量名区分字符大小写
示例:
~]# awk -v var1='hello' -F: '{print var1 ,$1}' /etc/passwd
除了变量,还可以定义数组:array[index_expression]
index_expression:
1) 可以使用任意的字符串,字符串必须使用双引号;
2) 如果某数组元素事先不存在,当引用该元素时,awk会自动创建此元素,并且为该元素赋"空字符串"作为其初始值;
注意:如果想要判断数组中某个元素是否存在,一般会使用"index in array"格式进行;
示例:
~]# awk 'BEGIN{name["leader"]="zhang";name["mem1"]="li";name["mem2"]="wang";print name["leader"]}'
在这个命令中,变量是一个很重要也很有意义的东西,配合变量使用的就是如何将其输出,在上面的例子中,使用到了print,这个选项是将一些内容进行输出,可以是一些变量,或者是一些自己想要输出的字符串,比如:
awk '{print "aaaaaaaaaa" $1}' /etc/fstab
上面这条命令就是取出“/etc/fstab”中的每一行的第一列进行输出,并且在输出的时候前面加上一串a,使用这种方法我们可以对输出内容进行控制。但是这种方法输出的格式可能并不美观。所以就用到了另外一种命令,叫做“printf”选项,这个选项可以对输出的格式进行控制,效果如同C语言中的那个“printf”。
printf选项:
格式化输出命令:printf "FORMAT" item1,item2,...
要点:
1)必须给出合适的FORMAT(显示的格式)
2)默认不自动换行,需要显式给出换行控制符(\n)
3)FORMAT中需要为后面的每一个item指定一个格式符
格式符可以有以下几种,选择了一种,就会将后边对应的“item”语句按照这种格式进行输出:
%c:显示字符的ASCII码
%d,%i:显示十进制整数
%f:显示浮点数字
%e,%E:使用科学计数法显示数字
%g,%G:使用科学计数法显示浮点数字
%s:显示字符串
%u:(unsigned)显示无符号整数
%%:显示%自身
修饰符:
#[.#]:第一个数字用来控制显示宽度;第二个数字表示小数点的精度(第二个数可以省略)
例如:%3.1f %5s
-:表示采用左对齐机制;默认是右对齐; %-15s
+:显示数字的正负符号; %+d
示例:
awk -F: '{printf "%20s: %-5s\n",$1,$3}' /etc/passwd
在进行输出的时候还可以进行运算,可以使用一些运算符来到这个目的:
算数操作符:
x+y,x-y,x*y,x/y,x^y,x%y
-x:将正数转换为负数
+x:将字符串转换为数值
示例:
awk 'BEGIN{print 1+2}'
字符串操作符:
没有符号的操作符,表示字符串连接之意
赋值操作符:
=,+=,-=,*=,/=,%=,^=
++,--
比较操作符:
>,>=,<,<=,==,!=
示例:
awk -F: '$3==1000{print $0}' /etc/passwd
模式匹配操作符
~:左侧的字符串是否能够被右侧的模式所匹配
!~:左侧的字符串是否不能够被右侧的模式所匹配
示例:
awk -F: '$NF~/bash/{print $0}' /etc/passwd
逻辑操作符:
&&:与
||:或
示例:
awk -F: '$3<=1000&&$3>=500{print $0}' /etc/passwd #显示UID在用户500-1000之间的
条件表达式:
condition(selector)?if-true-expression:if-false-expression
(首先写判断条件,然后使用一个“?”进行分隔,后边紧跟的是如果前边的判断条件成立所执行的命令,再然后使用“:”进行分隔,后跟如果判断条件不符合所执行的命令)
示例:
awk -F: '{$3>=1000?usertype="a":usertype="b";printf "%-20s: %-20s\n",usertype,$1}' /etc/passwd awk -F: '{$3>=1000?usertype="a":usertype="b";print usertype,$1}' /etc/passwd
这个命令的强大之处还在于它可以达到grep和sed的效果,比如使用匹配模式就可以实现grep的效果:
在上面的命令格式中可以看到有PATTERN这么一个选项,它可以是以下五种:
1)empty:空模式,处理文件中的每一行
2)[!]/REGEXP/:仅处理[不]能被PATTERN匹配到的行
示例:
~]# awk '[!]/^r/{print}' /etc/passwd
3)关系表达式:$3>=1000或者$NF~/bash/
4)行的范围
/regexp1/,/regexp2/:从被regexp1匹配的这一行开始到被regexp2匹配的这一行结束,有多少这一类匹配结果,就显示多少次
示例:
~]# awk '/^r/,/^a/{print}' /etc/passwd #这个命令的功能是匹配所有从以r开头的行到以a开头的行
5)BEGIN/END模式:
BEGIN{}:仅在开始处理文件中的第一行文本之前执行一次的语句块
示例:
~]# awk -F: 'BEGIN{printf "%20s %5s\n","Username","UserID"}{printf "%20s %5s\n",$1,$3}' /etc/passwd
注意:在输出特定格式的表头时,常用此语句块;
END{}:仅在文本处理完成但命令尚未退出时执行一次的语句块
示例:
~]# awk -F: 'BEGIN{printf "%20s %5s\n","Username","UserID"}{printf "%20s %5s\n",$1,$3}END{print "========================\n",NR " users"}' /etc/passwd
除了能够进行匹配之外,还可以实现其他语言中的控制语句,比如:
1) if-else:
语法:if (condition) {statement} [ else {statement} ]
使用场景:对awk取得的整行或某个字段做条件判断;
示例:
~]# awk -F: '{if($3>=1000) {print $1} else {print $1,$3}}' /etc/passwd
2) while循环:条件为真,进入循环;条件为假,退出循环;
语法:while (condition) statement
使用场景:对一行内的多个字段逐一做类似的处理;对数组中各个元素遍历及处理;
示例:
~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {printf "%s: %d\n",$i,length($i);i++}}' /etc/grub2.cfg
3) do...while循环:
语法:do statement while (condition)
意义:同while循环,但至少执行一次循环体中的语句;
4) for循环:
语法:for (expr1; expr2; expr3) statement
expr1:变量赋初值;
expr2:条件判断;
expr3:变量值的递增或递减调整;
示例:
~]# awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {printf "%s: %d\n",$i,length($i)}}' /etc/grub2.cfg
或者配合数组来查看已连接状态下,同一客户端的连接数量:
~]# ss -tn | awk '/^ESTAB\>/{print $NF}' | awk -F: '{state[$1]++}END{for(s in state){print state[s],s}}'
5) break 和 continue
break [n]:跳出循环,后头跟上哪个数字就跳出几层循环
continue:跳过本次循环,直接进入下次循环;
6) next语句:
提前结束对本行的处理,而直接进入下一行;
示例:
~]# awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd
在使用控制语句进行简单编程的时候还可以使用函数,函数也分为命令内置函数和自建函数。内置函数常见的有以下两个:
length(string):计算字符串长度
split(string,array[,fieldsep])
示例:
~]# awk '{print sdasdas $1 length($1)}' /etc/fstab
~]# awk '{split($0,user,":");print user[1]}' /etc/passwd