Linux AWK命令用法

一、AWK是一个非常强大的文本处理命令。

二、命令格式如下：

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
 [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
'  '          引用代码块
BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//           匹配代码块，可以是字符串或正则表达式
{}           命令代码块，包含一条或多条命令
；          多条命令使用分号分隔
END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

三、重要符号的说明：

特殊要点:
$0           表示整个当前行
$1           每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          BEGIN时定义分隔符
RS       输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||             逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'   定义三个分隔符

四、使用案例：

1、定义变量AA
# AA="hello:world:ni:hao:ma"
2、将变量内容导入到文件中
# echo $AA>/u03/test.log
3、打开/u03/test.log文件，将里面的内容多复制/粘贴几行
4、查看每行有多少个字段
# awk -F ":" '{print NF}' /u03/test.log   
其中，-F ":"表示指定分隔符为":"，'{print NF}'表示每行字段数量变量，/u03/test.log表示目标文件
# awk -F ":" '{print NF}' /u03/test.log 
5    -----结果为5个字段
5、查看文件/u03/test.log的全部内容
# awk -F ":" '{print $0}' /u03/test.log
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma




6、查看每行的第一个字段
[root@source ~]# awk -F ":" '{print $1}' /u03/test.log
hello
hello
hello
hello
hello
hello
hello




7、查看每行的记录号
# awk -F ":" '{print NR}' /u03/test.log
1
2
3
4
5
6
7
8
9
10
11

五、关于AWK中的print

print 是awk打印指定内容的主要命令

1、AWK中print与$0是等价的
# awk '{print}' /u03/test.log    或者写成：awk -F ":" '{print}' /u03/test.log
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma




# awk -F ":" '{print $0}' /u03/test.log
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma

2、输出第一个字段
# awk -F ":" '{print $1}' /u03/test.log
hello
hello
hello
hello
hello
hello
hello




3、输出第1、2、3个字段（换行了）
[root@source ~]# awk -F ":" '{print $1;print $2;print $3}' /u03/test.log
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni















4、输出第1、2、3个字段，以制表符作为分隔符
# awk  -F: '{print $1,$2,$3}' OFS="\t" /u03/test.log
hello	world	ni
hello	world	ni
hello	world	ni
hello	world	ni
hello	world	ni
hello	world	ni
hello	world	ni
		
		
		
5、将每行内容替换为字母a
# awk -F ":" '{print "a"}' /u03/test.log
a
a
a
a
a
a
a
a
a
a
a

		

六、awk参数-f指定脚本文件

1、创建脚本文件/u03/test.awk，内容如下：

# touch test.awk

# vim test.awk 

BEGIN{
FS=":"
}
{print $1}



执行命令：# awk -f /u03/test.awk /u03/test.log  

效果与awk -F ":" '{print $1}' 相同, /u03/test.log只是分隔符使用FS在代码自身中指定

2、统计test文件中的空行
test文件内容如下：
# cat test
hello:world:me

How:are:you

ni:X:ma:XXXX

XX:yX
执行命令：
# awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test
I find 3 blank lines.

3、计算/u03目录下文件的总大小
# pwd
/u03

# ls -la
total 24
drwxrwxr-x.  2 oracle oinstall 4096 Feb 28 11:20 .
dr-xr-xr-x. 30 root   root     4096 Feb 28 09:30 ..
-rw-r--r--.  1 root   root       49 Feb 28 11:20 test
-rw-r--r--.  1 root   root       67 Feb 28 11:06 test1.awk
-rw-r--r--.  1 root   root       27 Feb 28 10:59 test.awk
-rw-r--r--.  1 root   root      158 Feb 28 10:30 test.log

执行命令：
# ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'
total size is 301