1、awk语法：
awk [选项] '条件1{动作1} 条件2{动作2} ……' 文件名
选项：
-F：fs fs指定输入分隔符，fs可以是字符串或正则表达式。
-v：var=value 赋值一个用户自定义变量，将外部变量传递给awk。
-f：scriptfile 从脚本文件中读取awk命令。
条件：一般使用关系表达式作为条件。
动作：格式化输出；流程控制语句。
2、awk的条件：
条件的类型 |
条 件 |
说 明 |
awk 保留字 |
BEGIN |
在awk程序一开始时，尚未读取任何数据之前执行。BEGIN之后的动作只在程序开始时执行一次。 |
END |
在awk程序处理完所有数据，即将结束时执行。END后的动作只在程序结束时执行一次。 |
|
关系运算符 |
> |
大于 |
< |
小于 |
|
>= |
大于等于 | |
<= |
小于等于 | |
== |
等于。用于判断两个值是否相等。区别于变量赋值“=”。 | |
!= |
不等于 | |
A~B |
判断字符串A中是否包含能匹配B表达式的子字符串 |
|
A!~B |
判断字符串A中是否不包含能匹配B表达式的子字符串 |
|
正则表达式 |
// |
//中可以写入字符，也支持正则表达式 |
3、BEGIN的用法：
BEGIN的执行时机是“在awk一开始，尚未读取任何数据之前执行”。一旦BEGIN后的动作执行一次，BEGIN的条件就不再成立。
[root@master ~]# awk 'BEGIN{print "Hell World!"} {print $1"\t"$2}' /etc/hosts
Hell World!
127.0.0.1 localhost
::1 localhost
192.168.1.201 master
4、END的用法：
END是在awk处理完所有数据，即将结束时执行。END的动作只在程序结束时执行一次。
[root@master ~]# awk 'END{print "The End"} {print $1"\t"$2}' /etc/hosts
127.0.0.1 localhost
::1 localhost
192.168.1.201 master
The End
5、使用关系运算符：
用到的示例文件内容如下。
[root@master ~]# cat students.txt ID Name MySQL Linux Nginx Average 1 Lisan 86 95 82 87.66 2 Sunsi 96 87 74 85.66 3 Wangwu 93 99 83 91.66
想知道平均成绩超过90分的学生姓名：
[root@master ~]# awk '$6>=90{print $2}' students.txt | grep -v Name
Wangwu
awk命令的执行过程：
1） 如果有BEGIN条件，则先执行BEGIN定义的动作；
2） 如果没有BEGIN条件，则读入第一行，把第一行的数据依次赋予$0、$1、$2等变量。其中$0代表此行的整体数据，$1代表第一字段，$2代表第二字段；
3） 依据条件类型判断动作是否执行。如果条件符合，则执行动作，否则读入下一行数据；
4） 当所有的行匹配结束，执行END条件。
[root@master ~]# echo -e "A line 1 \nA line 2" | awk 'BEGIN{print "BEGIN"} {print} END{print "END"}'
BEGIN
A line 1
A line 2
END
6、使用正则表达式：
想查看学生“Wangwu”的成绩：
[root@master ~]# awk '/Wangwu/{print}' students.txt
3 Wangwu 93 99 83 91.66
使用df命令查看分区使用情况时，只返回真正的系统分区的使用状况：
[root@master ~]# df -h | awk '$1 ~ /sda[0-9]/ {print $1,$5}'
/dev/sda2 20%
/dev/sda1 71%
7、awk的内置变量
awk内置变量 |
作 用 |
$0 |
代表目前awk所读入的整行数据。 |
$n |
代表目前读入行的第n个字段（第n列）。 |
NF |
当前行拥有的字段（列）总数。 |
NR |
当前awk所处理的行，是总数据的第几行。 |
FS |
用户自定义分隔符。awk默认的分隔符是任何空格。 |
ARGC |
命令行参数个数 |
ARGV |
命令行参数数组 |
FNR |
当前文件中的当前记录数 |
RS |
输入记录分隔符（默认为换行符） |
ORS |
输出记录分隔符（默认为换行符） |
[root@master ~]# echo -e "line1 f1 f2\nline2 f3 f4\nline3 f4 f5" | awk '{print "Line No: "NR,"No of fields: " NF,"$0: "$0, "$1: "$1,"$2: "$2,"$3: "$3 }'
Line No: 1 No of fields: 3 $0: line1 f1 f2 $1: line1 $2: f1 $3: f2
Line No: 2 No of fields: 3 $0: line2 f3 f4 $1: line2 $2: f3 $3: f4
Line No: 3 No of fields: 3 $0: line3 f4 f5 $1: line3 $2: f4 $3: f5
使用分隔符：
[root@master ~]# cat /etc/passwd | awk -F ':' '{printf $1"\t"$3"\n"}'
或
[root@master ~]# cat /etc/passwd | awk 'BEGIN{FS=":"} {printf $1"\t"$3"\n"}'
8、awk流程控制：
求学生的MySQL成绩的总和：
[root@master ~]# awk 'NR==2{s1=$3} NR==3{s2=$3} NR==4{s3=$3;total=s1+s2+s3;print "Total is:" total}' students.txt
Total is:275
或者
[root@master ~]# awk 'NR>1{s+=$3}END{print "Total is:" s}' students.txt
Total is:275
注意区分：
[root@master ~]# awk 'NR==2{s1=$3} NR==3{s2=$3} NR==4{s3=$3} {total=s1+s2+s3;print "Total is:" total}' students.txt
Total is:0
Total is:86
Total is:182
Total is:275
如果MySQL成绩大于90，则输出“is a good student！”：
[root@master ~]# awk '{if(NR>=2 && NR<=4){if($3>90){print $2,"is a good student!"}}}' students.txt
Sunsi is a good student!
Wangwu is a good student!
或者
[root@master ~]# awk 'NR>=2 && NR<=4 && $3>90{print $2,"is a good student!"}' students.txt
Sunsi is a good student!
Wangwu is a good student!
第一个if条件，判断行数在2（包含）到4（包含）之间；
第二个if条件，判断第三列（即MySQL列）是否大于90；
print语句中的“,”会在标准输出中输入一个空格。
注意事项：
多个“条件{动作}”可以用空格分隔，也可以用回车分隔；
在一个动作中，如果需要执行多个命令，需要用“;”分隔，或者用回车分隔；
在awk中，变量的赋值和调用都不需要加入“$”；
条件判断中如果判断两个值是否相同，使用"=="；
当使用不带参数的print时，它就打印当前行的内容。当print的参数是以逗号做分隔符时，打印的结果以空格作为定界符；
在awk的print语句块中双引号是被当作拼接符使用；
在进行算术运算时，所有操作数自动转为数值，所有非数值都变为0。
[root@master ~]# echo | awk 'a="b" {print a++, ++a}'
0 2
9、awk函数
定义方法如下：
function 函数名(参数列表){
函数体
}
实例，在第二列和第三列中间加“ ||| ”：
[root@master ~]# awk 'function test(a,b){print a,"|||",b} test($2, $3)' students.txt
Name ||| MySQL
Lisan ||| 86
Sunsi ||| 96
Wangwu ||| 93
10、awk中调用脚本
创建一个.awk结尾的文件：
[root@master ~]# cat pass.awk
BEGIN{print "Hello Boys"}
{print $1,$2,$3}
END{print "Bye Boys"}
通过-f选项调用：
[root@master ~]# awk -f pass.awk students.txt Hello Boys ID Name MySQL 1 Lisan 86 2 Sunsi 96 3 Wangwu 93 Bye Boys
11、用awk按列求和：
用到的示例文件内容如下：
[root@master ~]# cat file1 a 1 a 3 a 4 c 6
求第二列的和：
[root@master ~]# awk '{s+=$2}END{print s}' file1
14
12、用awk进行分组求和：
用到的示例文件内容如下：
[root@master ~]# cat file2 a 1 2 a 2 3 a 2 5 c 4 6
以第一列为变量名，将相同第一列的第二列数据进行累加，打印出和：
[root@master ~]# awk '{s[$1]+=$2} END{for(i in s){print i,s[i]}}' file2
a 5
c 4
以第一列、第二列为变量名，将相同第一列、第二列的第三列的数据进行累加，打印出和：
[root@master ~]# awk '{s[$1,$2]+=$3} END{for(i in s){print i,s[i]}}' file2
c4 6
a1 2
a2 8
以第一列为变量名，打印出第二列和第三列的数据和：
[root@master ~]# awk '{s[$1]+=$2; a[$1]+=$3} END{for(i in s){print i,s[i],a[i]}}' file2
a 5 10
c 4 6
13、将外部变量传递给awk：
指定-v参数，可以将环境变量传递给awk使用：
[root@master ~]# var=100
[root@master ~]# echo | awk -v VARIABLE=$var '{print VARIABLE}'
100
14、awk高级输入输出
awk中next语句使用：逐行匹配，如果遇到next，就会跳过当前行，进行下一次匹配。next语句一般用于合并多行：
[root@master ~]# awk '$2~/Name/{T=$2;next}{print T"\t"$2}' students.txt
Name Lisan
Name Sunsi
Name Wangwu