9月2日 GNU awk 1

1、基本用法

awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
awk程序通常由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,共3部分组成
program通常是被单引号或双引号中
选项:
-F指明输入时用到的字段分隔符
-v var=value: 自定义变量
awk的用法和sed很相似,都自带行的循环,可以一行一行的读取文件的内容进行处理,pattern指明处理哪一行,action匹配的内容进行什么处理动作。
sed [opption] 'script' file ,script=地址界定+命令
地址界定:1或者1,2或者1~2或者/pattern/或者/pattern1/,/pattern2/
pattern可以用正则表达式,表示匹配的行,或者匹配的第几行到第几行
awk [opption] 'program' file program=pattern+action
pattern也表示匹配的行,action表示对匹配的内容进行什么处理动作

2、基本格式

基本格式:awk [options] 'program' file…
program:pattern{action statements;..}
pattern和action:
•pattern部分决定动作语句何时触发及触发事件
BEGIN,END
•action statements对数据进行处理,放在{}内指明
print, printf
分割符、域和记录
•awk执行时,由分隔符分隔的字段(域、列)标记$1,$2..$n称为域标识。也就是$1代表第一列的值,$2代表第二列的值,$0为所有列,也就是整行。注意:和shell中变量$符含义不同
•文件的每一行称为记录。
•省略action,则默认执行print $0 的操作
print格式:print item1, item2, ...
要点:
(1) 逗号分隔符
(2) 输出的各item可以是字符串,也可以是数值;当前记录的字段、变量或awk的表达式
(3) 如省略item,相当于print $0

3、awk工作原理

第一步:执行BEGIN{action;… }语句块中的语句,执行的时候还没有读入文件的内容,和文件无关,后面不用跟文件名也可以,常用于打印表头。
第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步:当读至输入流末尾时,执行END{action;…}语句块,当所有的行都处理完毕时执行此语句块,这里和文件有关系,指的是文件所有行都处理完之后进行的操作,后面要跟文件名,比如对所有的行进行汇总操作。
BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块

举例

[root@centos6 app]#awk -F: '{print $1}' /etc/passwd   ---只打印第一
列,-F指定输入时用到的字段的分隔符
[root@centos6 app]#df |awk '{print $5}'   ---没有-F默认空格做为分隔
符,并且空格可以为多个
Use%
3%
4%
1%
[root@centos6 sbin]#cat /etc/passwd|head -n2|awk -F: '{print $1,$3}'  
---默认是以空格做为输出分隔符
root 0
bin 1
[root@centos6 sbin]#cat /etc/passwd|head -n2|awk -F: '{print $1$3}' 
---如果什么都不加表示没有分隔符
root0
bin1
[root@centos6 sbin]#awk -F: '{print $1"\t"$3}' /etc/passwd  
---/t可以让列对齐,但前面的第一列太长的话也对齐不了,只是部分
对齐
root    0
bin 1
daemon  2
adm 3
[root@centos6 app]#df|awk '{print $1"---"$5}'    ---可以指定输出的分
割符,注意{}里面如果是变量不用双引号,但如果是字符串要用双引
号
Filesystem---Use%
/dev/sda2---3%
/dev/sda1---4%
/dev/sda3---1%
[root@centos6 app]#awk 'BEGIN{print 19/3}'  ---BEGIN语句不需要
读取文件内容,与文件无关,执行BEGIN语句时还没有读入文件内
容,只是打印表头
6.33333
[root@centos6 app]#cat /etc/passwd |head -n1|awk -v FS=":" '{print $1,$3}'   --- FS=":"是一个变量,指定输入分隔符
root 0
[root@centos6 app]#cat /etc/passwd |head -n1|awk -v FS=":" '{print $1FS$3}'   ---可以引用这个变量
root:0
[root@centos6 app]#fs=":";cat /etc/passwd |head -n1|awk -v FS=$fs '{print $1FS$3}'
root:0
[root@centos6 app]#cat /etc/passwd |head -n1|awk -v FS=":" -v OFS="---" '{print $1,$3}'   ---定义变量指定输入和输出分隔符
root---0

你可能感兴趣的:(9月2日 GNU awk 1)