awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具。简单地讲,awk是一种处理文本数据的编程语言。awk的设计使得它非常适合于处理由行和列组成的文本数据。而在Linux或者UNIX环境中,这种类型的数据是非常普遍的。除此之外,awk 还是一种编程语言环境,它提供了正则表达式的匹配,流程控制,运算符,表达式,变量以及函数等一系列的程序设计语言所具备的特性。它从C语言中获取了一些优秀的思想。awk程序可以读取文本文件,对数据进行排序,对其中的数值执行计算以及生成报表等。
awk命令的基本语法如下:
awk 'pattern { actions }'
在上面的语法中,pattern表示匹配模式,actions表示要执行的操作。
以上语法表示,当某个文本行符合pattern指定的匹配规则时,执行actions所执行的操作。
在上面的语法中,pattern和actions都是可选的,但是两者必须保证至少有一个。如果省略匹配模式pattern,则表示对所有的文本行执行actions所表示的操作;如果省略actions,则表示将匹配成功的行输出到屏幕。
awk的工作流程非常重要。只有在掌握了awk的工作流程之后,才有可能用好awk来处理数据。
在awk处理数据时,它会反复执行以下4个步骤:
(1)自动从指定的数据文件中读取行文本。
(2)自动更新awk的内置系统变量的值,例如列数变量NF、行数变量NR、行变量$0以及各个列变量$1、$2等等。
(3)依次执行程序中所有的匹配模式及其操作。
(4)当执行完程序中所有的匹配模式及其操作之后,如果数据文件中仍然还有未读取的数据行,则返回到第(1)步,重复执行(1)~(4)的操作。
1.通过命令行执行awk程序,语法如下:
awk 'program-text' datafile
2.执行awk脚本在awk程序语句比较多的情况下,用户可以将所有的语句写在一个脚本文件``中,然后通过awk命令来解释并执行其中的语句。awk调用脚本的语法如下:
awk -f program-file file ..
在上面的语法中,-f选项表示从脚本文件中读取awk程序语句,program-file表示awk脚本文件名称,file表示要处理的数据文件。
3.可执行脚本文件
在上面介绍的两种方式中,用户都需要输入awk命令才能执行程序。
除此之外,用户还可以通过类似于Shell脚本的方式来执行awk程序。在这种方式中,需要在awk程序中指定命令解释器,并且赋予脚本文件的可执行权限。
其中指定命令解释器的语法如下:
#!/bin/awk -f
以上语句必须位于脚本文件的第一行。
然后用户就可以通过以下命令执行awk程序:awk-script file
其中,awk-script为awk脚本文件名称,file为要处理的文本数据文件。
awk [options] 'script' file1 file2, ...
awk [options] 'PATTERN { action }' file1 file2, ...
(1)print的使用格式: print item1,item2,...
(2)printf命令的使用格式: 虽然大多数情况下awk的print语句可以完成任务,但有时我们还需要对格式做更多的控制。awk提供了printf函数来实现字符串的格式化。这个函数的功能和语法与C语言中的printf()函数基本相同,如下:printf(format, [arguments])
(3)输出重定向
print items > output-file
print items >> output-file
print items | command
练习:awk打印一个内容和打印多个内容,
格式化输出:显示Hello World字符串且宽度为50,向左对齐
[root@localhost day8]# cat hello.txt
Hello World!
[root@localhost day8]# awk '{printf "%-50s",$0}' hello.txt
Hello World! [root@localhost day8]#
[root@localhost day8]#
变量的作用是用来存储数据。变量由变量名和值两部分组成,其中变量名是用来实现变量值的引用的途径,而变量值则是内存空间中存储的用户数据。
awk的变量名只能包括字母、数字和下划线,并且不能以数字开头。例如abc、a、z以及a123都是合法的变量名,而123abc则是非法的变量名。另外,awk的变量名是区分大小写的,因此,X和x分别表示不同的变量。
在awk中定义变量的方法非常简单,只要给出一个变量名并且赋予适当的值即可。awk中的变量类型分为两种,分别为字符串和数值。但是在定义awk变量时,毋需指定变量类型,awk会根据变量所处的环境自动判断。如果没有指定值,数值类型的变量的缺省值为0,字符串类型的变量的缺省值为空串。awk提供了许多非常实用的系统变量,例如字段变量、字段数变量以及记录数变量等。
(1)awk内置变量
变量 | 说明 |
---|---|
$0 | 记录变量,表示当前正在处理的记录 |
$n | 字段变量,其中n为整数,且n大于1。表示第n个字段的值 |
NF | 整数值,表示当前记录(变量$0所代表的记录)的字段数 |
NR | 整数值,表示awk已经读入的记录数;如果有多个文件,这个数目会把处理的多个文件中行统一计数。(显示的是文件的每一行的行号) |
FNR | 与NR不同的是,FNR用于记录正处理的行是当前这一文件中被总共处理的行数; |
FILENAME | 表示正在处理的数据文件的名称 |
FS | 输入字段分隔符,默认值是空格或者制表符,可使用-F指定分隔符 |
OFS | 输出字段分隔符 ,OFS=”#”指定输出分割符为#。 |
RS | 记录分隔符,默认值是换行符 \n |
ENVIRON | 当前shell环境变量及其值的关联数组; |
示例:
[root@localhost day8]# echo 'hello china' > hello.txt
[root@localhost day8]# cat hello.txt
hello china
[root@localhost day8]# awk 'BEGIN {OFS="#"} {print $1,$2,"hello","world"}' hello.txt
hello#china#hello#world
[root@localhost day8]#
(2) 用户自定义变量 awk允许用户自定义自己的变量以便在程序代码中使用,变量名命名规则与大多数编程语言相同,只能使用字母、数字和下划线,且不能以数字开头。awk变量名称区分字符大小写。
1、在awk中给变量赋值使用赋值语句进行
示例:
[root@localhost day8]# awk 'BEGIN{hello="world";print hello}'
world
2、在命令行中使用赋值变量 awk命令也可以在“脚本”外为变量赋值,并在脚本中进行引用。例如,上述的例子还可以改写为:
[root@localhost day8]# awk -v hello="world" 'BEGIN {print hello}'
world
awk是一种编程语言环境,因此,它也支持常用的运算符以及表达式,例如算术运算、逻辑运算以及关系运算等。
(1)awk支持常用的算术运算,这一点与其他的程序设计语言基本相同。
运算符 | 说明 | 举例 |
---|---|---|
+ | 加法运算 | 1+2表示计算1和2的和 |
- | 减法运算 | 82-2表示计算82和2的差 |
* | 乘法运算 | 2*5表示计算2和5的积 |
/ | 除法运算 | 6/3表示计算6和2的商 |
% | 求模运算 | 5/2表示计算5除以2的余数 |
^ | 指数运算 | 2^3表示计算2的3次方 |
示例:awk执行数学计算: 10/2*3+5%2+2^3
[root@localhost day8]# awk 'BEGIN{print 10/2*3+5%2+2^3}'
24
(2)赋值运算符
运算符 | 说明 | 举例 |
---|---|---|
= | 赋值运算 | x=5表示将数值5赋给变量x |
+= | 复合赋值运算,表示将前后两个数值相加后的和赋给前面的变量 | x+=5表示先将x的值与5相加,然后再将和赋给变量x,等价于x=x+5 |
-= | 复合赋值运算,表示将前后两个数值相减后的值赋给前面的变量 | x-=5表示先将x的值减去5,然后再将得到的差赋给变量x,等价于x=x-5 |
*= | 复合赋值运算,表示前后两个数的乘积赋给前面的变量 | 表示先将x的值乘以5,然后再将得到的乘积赋给变量x |
/= | 复合赋值运算,表示前后两个数值的商赋给前面的变量 | 表示先将变量x除以5,再将商赋给变量x |
%= | 复合赋值运算,表示将前面的数值除以后面的数值所得的余数赋给前面的变量 | 将变量x与5相除后的余数赋给变量x |
^= | 复合运算符,表示将前面的数值的后面数值次方赋给前面的变量 | x^=3表示将变量x的3次方赋给变量x |
(3)条件运算符
awk中的条件运算符只有一个,其语法如下:
expression?value1:value2
这是一个三目运算符,当表达式expression的值为真时,返回值为value1;否则,返回值为value2。
(4)逻辑运算符
awk支持3种逻辑运算,分别为逻辑与、逻辑或和逻辑非
运算符 | 说明 | 举例 |
---|---|---|
&& | 逻辑与,当前后两个表达式的值全部为真时,其运算结果才为真 | 1>2&&3>2的值为假 |
// | 逻辑或,前后两个表达式只要有一个为真,则其运算结果为真。当两个表达式的值都为假时,其运算结果才为假 | 1>2&&3>2的值为真 |
! | 逻辑非,当表达式的值为真时,其运算结果为假;当表达式的值为假时,其运算结果为真! | (1>2)的值为真 |
(5)关系运算符
运算符 | 说明 | 举例 |
---|---|---|
> | 大于 | 5>2的值为真 |
>= | 大于或者等于 | 8>=8的值为真 |
< | 小于 | 8<12的值为真 |
<= | 小于或者等于 | 4<=7的值为真 |
== | 等于 | 9==9的值为真 |
!= | 不等于 | 1!=3的值为真 |
~ | 匹配运算符 | $1 ~ /^T/表示匹配第一个字段以字符T开头的记录 |
!~ | 不匹配运算符 | $1 !~ /a/表示匹配第一个字段不含有字符a的记录 |
(6)其他运算符awk还支持其他的一些运算符,例如正号+、负号-、自增++以及自减–等,这些运算符的使用方法与其他的语言的使用方法完全相同。
示例:
[root@localhost day8]# cat hello.txt
hello china
chongqing
chengdu
yunnan
shanxi
[root@localhost day8]# awk '{ if (NR%2==1 && "END {print NR}==5") print $1}' hello.txt
hello
chengdu
shanxi
[root@localhost day8]#
[root@localhost day8]# awk '{ if (NR!=3 && "END {print NR}==5") print $1}' hello.txt
hello
chongqing
yunnan
shanxi
[root@localhost day8]#
awk的基本语法:
awk [options] 'PATTERN { action }' file1 file2, ...
在awk中,匹配模式处于非常重要的地位,它决定着匹配模式后面的操作会影响到哪些文本行。awk中的匹配模式主要包括关系表达式、正则表达式、混合模式,BEGIN模式以及END模式等。
(1)关系表达式awk提供了许多关系运算符,例如大于>、小于<或者等于==等。awk允许用户使用关系表达式作为匹配模式,当某个文本行满足关系表达式时,将会执行相应的操作。
(2)正则表达式awk支持以正则表达式作为匹配模式,与sed一样,用户需要将正则表达式放在两条斜线之间,其基本语法如下:```/regular_expression/````
(3)混合模式awk不仅支持单个的关系表达式或者正则表达式作为模式,还支持使用逻辑运算符&&、||或者!将多个表达式组合起来作为一个模式。其中,&&表示逻辑与,||表示逻辑或,!表示逻辑非。
(4)区间模式awk还支持一种区间模式,也就是说通过模式可以匹配一段连续的文本行。区间模式的语法如下:pattern1, pattern2其中,pattern1和pattern2都是前面所讲的匹配模式,可以是关系表达式,也可以是正则表达式等。当然,也可以是这些模式的混合形式。
(5)BEGIN模式BEGIN模式是一种特殊的内置模式,其成立的时机为awk程序刚开始执行,但是又尚未读取任何数据之前。因此,该模式所对应的操作仅仅被执行一次,当awk读取数据之后,BEGIN模式便不再成立。所以,用户可以将与数据文件无关,而且在整个程序的生命周期中,只需执行1次的代码放在BEGIN模式对应的操作中。
(6)END模式END模式是awk的另外一种特殊模式,该模式成立的时机与BEGIN模式恰好相反,它是在awk命令处理完所有的数据,即将退出程序时成立,在此之前,END模式并不成立。无论数据文件中包含多少行数据,在整个程序的生命周期中,该模式所对应的操作只被执行1次。因此,一般情况下,用户可以将许多善后工作放在END模式对应的操作中。
示例:
[root@localhost day8]# cat sorce.txt
zhangsan 80
lisi 92
wangwu 60
zhaoliu 76
[root@localhost day8]# awk '$2 > 80 {print}' sorce.txt
lisi 92
[root@localhost day8]# awk '/^l/{print}' sorce.txt
lisi 92
[root@localhost day8]# awk '/^l/ && $2>80 {print}' sorce.txt
lisi 92
[root@localhost day8]# awk '/^l/,$2==90 {print}' sorce.txt
lisi 92
wangwu 60
zhaoliu 76
[root@localhost day8]#
作为一种程序设计语言,awk支持程序的流程控制,例如条件判断、循环以及其他的一些流程控制语句,例如continue、break以及exit等。
(1)if语句的功能是根据用户指定的条件来决定执行程序的哪个分支,其语法如下:
if (expression)
{
statement1
statement2
}
else
{
statement3
statement4
}
示例:
{
if ($1 >= 85 && $1 <= 100){
print $1,"A"
}
else
{
if ($1 >= 70 && $1<=84){
print $1,"B"
}
else
{
if ($1 >= 60 && $1 <=69){
print $1,"C"
}
else
{
if ($1 >=0 && $1 <= 59){
print $1,"D"
}
else
{
print $1 " Tips:invalue scores "
}
}
}
}
[root@localhost day8]# chmod a+x awk_if.sh
[root@localhost day8]# ./awk_if.sh score.txt
55 D
120 Tips:invalue scores
76 B
92 A
(2)for语句for循环语句
通常用在循环次数已知的场合中,其语法如下:
for(expression1; expression2; expression3)
{
statement1
statement2
...
}
在上面的语法中,表达式expression1通常用来初始化循环变量,表达式expression2通常用来指定循环执行的条件,表达式expression3通常用来改变循环变量的值。当表达式expression2的值为真时,执行循环体中的语句。
示例:
2. for(): 计算1+2…+100的和
BEGIN{
sum=0
for(i=1;i<=100;i++){
sum+=i
}
print "1+2+....+100="sum
}
[root@localhost day8]# ./awk_for.sh
1+2+....+100=5050
for循环还可以用来遍历数组元素:
语法: for(变量 in 数组){语句}
示例:
3. for(in): 定义一个数组:数组中的元素为: array[name]=age,-> zhangsan:18 lisi:20 wangwu=21
循环访问数组,并输出数组中的key和value
[root@localhost day8]# vim awk_array.sh
#!/bin/awk -f
BEGIN{
array["zhangsan"]=18
array["lisi"]=20
array["wangwu"]=21
for(var in array){
print var,array[var]
}
}
[root@localhost test]# ./awk_array.sh
zhangsan 18
wangwu 21
lisi 20
(3)while语句是另外一种常用的循环结构,其语法如下:
while (expression)
{
statement1
statement2
...
}
当表达式expression的值为真时,执行循环体中的statement1以及statement2等语句。如果循环体中只包含一条语句,则可以省略大括号。
(4)awk还支持另外一种while循环语句,其语法如下:
do
{
statement1
statement2
...
}
while (expression)
同样,当表达式expression的值为真时执行循环体中的语句。
示例:
4. 用while和do…while实现9*9乘法表
[root@localhost day8]# vim do_while_awk.sh
#!/bin/awk -f
BEGIN {
i=1
do
{
j=1
do
{
printf("%d*%d=%d\t",i,j,i*j)
j++
}while(j<=i)
i++
printf("\n")
}while (i<=9)
}
[root@localhost day8]# chmod a+x do_while_awk.sh
[root@localhost day8]# ./do_while_awk.sh
1*1=1
2*1=2 2*2=4
3*1=3 3*2=6 3*3=9
4*1=4 4*2=8 4*3=12 4*4=16
5*1=5 5*2=10 5*3=15 5*4=20 5*5=25
6*1=6 6*2=12 6*3=18 6*4=24 6*5=30 6*6=36
7*1=7 7*2=14 7*3=21 7*4=28 7*5=35 7*6=42 7*7=49
8*1=8 8*2=16 8*3=24 8*4=32 8*5=40 8*6=48 8*7=56 8*8=64
9*1=9 9*2=18 9*3=27 9*4=36 9*5=45 9*6=54 9*7=63 9*8=72 9*9=81
(1)split(string, array [, fieldsep [, seps ] ]) 功能:将string表示的字符串以fieldsep为分隔符进行分隔,并将分隔后的结果保存至array为名的数组中;数组下标为从1开始的序列;
[root@localhost day8]# date +%T | awk '{split($0,a,":");print a[1],a[2],a[3]}'
14 16 46
(2)length([string])功能:返回string字符串中字符的个数;
[root@localhost day8]# awk 'BEGIN{print length("helloworld")}'
10
(3)substr(string, start [, length])功能:取string字符串中的子串,从start开始,取length个;start从1开始计数;
[root@localhost day8]# awk 'BEGIN{print substr("helloworld",u,6)}'
hellow
(4)system(command)功能:执行系统command并将结果返回至awk命令
[root@localhost day8]# awk 'BEGIN{print system ("whoami")}'
root
0
(5)systime()功能:取系统当前时间
[root@localhost day8]# awk 'BEGIN{print systime()}'
1662099577
(6)tolower(s)功能:将s中的所有字母转为小写
[root@localhost day8]# awk 'BEGIN{print tolower("HELLOWORLD")}'
helloworld
(7)toupper(s)功能:将s中的所有字母转为大写
[root@localhost day8]# awk 'BEGIN{print toupper("HELLOworld")}'
HELLOWORLD