参考
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。awk 是三剑客的老大，利剑出鞘，必会不同凡响。
通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。
语法
awk [选项参数] '{pattern + action}' {filenames}
-
pattern表示 AWK 在数据中查找的内容，借助于正则表达式，匹配内容用斜杠括起来。 -
action是在找到匹配内容时所执行的一系列命令。 -
{}花括号不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。
选项参数说明：
- -
Ffs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。 - -
vvar=value or --asign var=value
赋值一个用户定义变量。 - -
fscripfile or --file scriptfile
从脚本文件中读取awk命令。 - -mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。 - -W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。 - -W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。 - -W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。 - -W lint or --lint
打印不能向传统unix平台移植的结构的警告。 - -W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。 - -W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替和=；fflush无效。 - -W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。 - -W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。 - -W version or --version
打印bug报告信息的版本。
基本用法
log.txt文本内容如下：
2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo
用法一：
awk '{[pattern] action}' {filenames} # 行匹配语句 awk '' 只能用单引号
实例：
# 每行按空格或TAB分割，输出文本中的1、4项
$ awk '{print $1,$4}' log.txt
---------------------------------------------
2 a
3 like
This's
10 orange,apple,mongo
# 格式化输出
$ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
---------------------------------------------
2 a
3 like
This's
10 orange,apple,mongo
用法二：
awk -F #-F相当于内置变量FS, 指定分割字符
实例：
# 使用","分割
$ awk -F, '{print $1,$2}' log.txt
---------------------------------------------
2 this is a test
3 Are you like awk
This's a test
10 There are orange apple
# 或者使用内建变量
$ awk 'BEGIN{FS=","} {print $1,$2}' log.txt
---------------------------------------------
2 this is a test
3 Are you like awk
This's a test
10 There are orange apple
# 使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割
$ awk -F '[ ,]' '{print $1,$2,$5}' log.txt
---------------------------------------------
2 this test
3 Are awk
This's a
10 There apple
用法三：
awk -v # 设置变量
实例：
$ awk -va=1 '{print $1,$1+a}' log.txt
---------------------------------------------
2 3
3 4
This's 1
10 11
$ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
---------------------------------------------
2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s
用法四：
awk -f {awk脚本} {文件名}
实例：
$ awk -f cal.awk log.txt
运算符
（1）赋值运算符：
a+5;等价于： a=a+5;其他同类
$ awk 'BEGIN{a=5;a+=5;print a}'
10
（2）逻辑运算符：
判断表达式 a>2&&b>1为真还是为假，后面的表达式同理.
$ awk 'BEGIN{a=1;b=2;print (a>2&&b>1,a=1||b>1)}'
0 1
（3）正则运算符 字符串~/正则表达式/
$ awk 'BEGIN{a="100testaa";if(a~/100/) {print "ok"}}'
ok
$ echo | awk 'BEGIN{a="100testaaa"}a~/test/{print "ok"}'
ok
（4）关系运算符
如：> < 可以作为字符串比较，也可以用作数值比较，关键看操作数如果是字符串就会转换为字符串比较。两个都为数字才转为数值比较。字符串比较：按照ascii 码顺序比较。
$ awk 'BEGIN{a="11";if(a>=9){print "ok"}}' #无输出
$ awk 'BEGIN{a=11;if(a>=9){print "ok"}}'
ok
$ awk 'BEGIN{a;if(a>=b){print "ok"}}'
ok
（5）算术运算符
所有用作算术运算符进行操作，操作数自动转为数值，所有非数值都变为0。
$ awk 'BEGIN{a="b";print a++,++a}'
0 2
$ awk 'BEGIN{a="20b4";print a++,++a}'
20 22
a++是先赋值加++；++a是先++再赋值
过滤第一列大于2的行
$ awk '$1>2' log.txt
过滤第一列等于2的行的1,3列
$ awk '$1==2 {print $1,$3}' log.txt
过滤第一列大于2并且第二列等于'Are'的行
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt
（6）三目运算符 ?
$ awk 'BEGIN{a="b";print a=="b"?"ok":"err"}'
ok
$ awk 'BEGIN{a="b";print a=="c"?"ok":"err"}'
err
内建变量
注：内置变量很多，参阅相关资料
| 变量 | 描述 |
|---|---|
| $n | 当前记录的第n个字段，字段间由FS分隔 ** |
| $0 | 完整的输入记录 ** |
| ARGC | 命令行参数的数目 |
| ARGIND | 命令行中当前文件的位置(从0开始算) |
| ARGV | 包含命令行参数的数组 |
| CONVFMT | 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组 |
| ERRNO | 最后一个系统错误的描述 |
| FIELDWIDTHS | 字段宽度列表(用空格键分隔) |
| FILENAME | 当前文件名 |
| FNR | 各文件分别计数的行号 |
| FS | 字段分隔符(默认是任何空格) ** |
| IGNORECASE | 如果为真，则进行忽略大小写的匹配 |
| NF | 一条记录的字段的数目 ** |
| NR | 已经读出的记录数，就是行号，从1开始 ** |
| OFMT | 数字的输出格式(默认值是%.6g) |
| OFS | 输出记录分隔符（输出换行符），输出时用指定的符号代替换行符 |
| ORS | 输出记录分隔符(默认值是一个换行符) |
| RLENGTH | 由match函数所匹配的字符串的长度 |
| RS | 记录分隔符(默认是一个换行符) |
| RSTART | 由match函数所匹配的字符串的第一个位置 |
| SUBSEP | 数组下标分隔符(默认值是/034) |
字段分隔符 FS
FS="\t" 一个或多个 Tab 分隔
$ cat tab.txt
ww CC IDD
$ awk 'BEGIN{FS="\t+"}{print $1,$2,$3}' tab.txt
ww CC IDD
FS="[[:space:]+]" 一个或多个空白空格，默认的
$ awk -F [[:space:]+] '{print $1,$2,$3,$4,$5}' space.txt
FS="[" ":]+" 以一个或多个空格或：分隔
$ awk -F [" ":]+ '{print $1,$2,$3}' hello.txt
字段数量 NF， FS分隔完，剩下的就是字段数量
$ awk -F ":" 'NF==8{print $0}' hello.txt
bin:x:1:1:bin:/bin:/sbin/nologin:888
记录数量 NR NR：number row
$ ifconfig eth0|awk -F [" ":]+ 'NR==2{print $4}' ## NR==2也就是取第2行
192.168.17.129
RS 记录分隔符变量
将 FS 设置成"\n"告诉 awk 每个字段都占据一行。通过将 RS 设置成""，还会告诉 awk每个地址记录都由空白行分隔。
$ cat recode.txt
Jimmy the Weasel
100 Pleasant Drive
San Francisco,CA 123456
Big Tony
200 Incognito Ave.
Suburbia,WA 64890
$ cat awk.txt
#!/bin/awk
BEGIN {
FS="\n"
RS=""
}
{
print $1","$2","$3
}
$ awk -f awk.txt recode.txt
Jimmy the Weasel,100 Pleasant Drive,San Francisco,CA 123456
Big Tony,200 Incognito Ave.,Suburbia,WA 64890
OFS 输出字段分隔符
$ cat hello.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin:888
$ awk 'BEGIN{FS=":"}{print $1","$2","$3}' hello.txt
root,x,0
bin,x,1
$ awk 'BEGIN{FS=":";OFS="#"}{print $1,$2,$3}' hello.txt
root#x#0
bin#x#1
ORS 输出记录分隔符
$ cat recode.txt
Jimmy the Weasel
100 Pleasant Drive
San Francisco,CA 123456
Big Tony
200 Incognito Ave.
Suburbia,WA 64890
$ cat awk.txt
#!/bin/awk
BEGIN {
FS="\n"
RS=""
ORS="\n\n"
}
{
print $1","$2","$3
}
$ awk -f awk.txt recode.txt
Jimmy the Weasel,100 Pleasant Drive,San Francisco,CA 123456
Big Tony,200 Incognito Ave.,Suburbia,WA 64890
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 ' 1 1
log.txt 2 2 ' 1 2
log.txt 2 3 ' 2 3
log.txt 2 4 ' 1 4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$ awk '{print $1,$2,$5}' OFS=" $ " log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $
四、使用正则，字符串匹配
规则表达式
awk '/REG/{action} ' file中/REG/为正则表达式，可以将$0 中，满足条件的记录送入到action 进行处理
$ awk '/root/{print $0}' passwd ##匹配所有包含root的行
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
$ awk -F: '$5~/root/{print $0}' passwd ## 以分号作为分隔符，匹配第5个字段是root的行
root:x:0:0:root:/root:/bin/bash
$ ifconfig eth0|awk 'BEGIN{FS="[[:space:]:]+"} NR==2{print $4}'
192.168.17.129
布尔表达式
awk '布尔表达式{action}' file 仅当对前面的布尔表达式求值为真时， awk 才执行代码块。
$ awk -F: '$1=="root"{print $0}' passwd
root:x:0:0:root:/root:/bin/bash
$ awk -F: '($1=="root")&&($5=="root") {print $0}' passwd
root:x:0:0:root:/root:/bin/bash
# 输出第二列包含 "th"，并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
~ 表示模式开始。// 中是模式。
# 输出包含"re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Are you like awk
10 There are orange,apple,mongo
忽略大小写
$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test
模式取反
$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
awk脚本
关于awk脚本，我们需要注意两个关键词BEGIN和END。
- BEGIN{ 这里面放的是执行前的语句 }
- END {这里面放的是处理完所有的行后要执行的语句 }
- {这里面放的是处理每一行时要执行的语句}
假设有这么一个文件（学生成绩表）：
$ cat score.txt
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
我们的awk脚本如下：
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
我们来看一下执行结果：
$ awk -f cal.awk score.txt
NAME NO. MATH ENGLISH COMPUTER TOTAL
---------------------------------------------
Marry 2143 78 84 77 239
Jack 2321 66 78 45 189
Tom 2122 48 77 71 196
Mike 2537 87 97 95 279
Bob 2415 40 57 62 159
---------------------------------------------
TOTAL: 319 393 350
AVERAGE: 63.80 78.60 70.00
另外一些实例
AWK的hello world程序为：
BEGIN { print "Hello, world!" }
计算文件大小
$ ls -l *.txt | awk '{sum+=$6} END {print sum}'
--------------------------------------------------
666581
从文件中找出长度大于80的行
awk 'length>80' log.txt
打印九九乘法表
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
关于awk内建变量个人见解，简单易懂
解释一下变量：
变量：分为内置变量和自定义变量;输入分隔符FS和输出分隔符OFS都属于内置变量。
内置变量就是awk预定义好的、内置在awk内部的变量，而自定义变量就是用户定义的变量。
- FS(Field Separator)：输入字段分隔符， 默认为空白字符
- OFS(Out of Field Separator)：输出字段分隔符， 默认为空白字符
- RS(Record Separator)：输入记录分隔符(输入换行符)， 指定输入时的换行符
- ORS(Output Record Separate)：输出记录分隔符（输出换行符），输出时用指定符号代替换行符
- NF(Number for Field)：当前行的字段的个数(即当前行被分割成了几列)
- NR(Number of Record)：行号，当前处理的文本行的行号。
- FNR：各文件分别计数的行号
- ARGC：命令行参数的个数
- ARGV：数组，保存的是命令行所给定的各参数
自定义变量的方法
- 方法一：-v varname=value ，变量名区分字符大小写。
- 方法二：在program中直接定义。
BEGIN 和 END 模块
BEGIN
通常，对于每个输入行， awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况， awk 允许您定义一个 BEGIN 块。
因为 awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。
END
awk 还提供了另一个特殊块，叫作 END 块。 awk 在处理了输入文件中的所有行之后执行这个块。通常， END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。
实例一：统计/etc/passwd的账户人数 *****
awk '{count++;print $0;} END{print "user count is ",count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
...
user count is 27
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0，在BEGIN模块初始化。
awk 'BEGIN {count=0;print "[start] user count is ",count} {count=count+1;print $0} END{print "[end] user count is ",count}' /etc/passwd
[start] user count is 0
root:x:0:0:root:/root:/bin/bash
...................................................................
[end] user count is 27
实例二：统计某个文件夹下的文件占用的字节数
ll | awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ",size}'
[end]size is 1489
如果以M为单位显示:
ll | awk 'BEGIN{size=0;} {size=size+$5;} END{print "[end]size is ",size/1024/1024,"M"}'
小练习
01 使某一列都增加一个数，这一列的数是不同的．本例中，第一列所有数都减１,列之间用table键连接.
$ cat 19mer_out.histo | less
1 17335
2 98035
3 362003
4 998602
5 2191173
6 4018428
7 6359494
8 8797611
9 10852289
10 12163351
$ cat 19mer_out.histo | awk '{print $1-1"\t"$2}' |less
0 17335
1 98035
2 362003
3 998602
4 2191173
5 4018428
6 6359494
7 8797611
8 10852289
9 12163351
02 打印第二列匹配aa开头并以aa结束的行.
cat test.txt
1 a
2 a
3 aa
4 aa
5 aa
5 a
5 b
5 c
awk '{if($2~/^aa$/)print}' test.txt
3 aa
4 aa
5 aa
03 打印第二列匹配aa开头并以aa结束的行.
grep-v ffff过滤ipv6的地址，显示:80的行，删除A到Z和_对应的行，判断已:作为分隔符，打印第三列等于80的行。
查看登录者的数据，只显示登录名和ip地址，并以 tab 隔开
last
liu pts/62 171.35.173.198 Tue Sep 1 09:01 - 15:24 (06:23)
zhang pts/61 112.111.217.172 Tue Sep 1 08:55 still logged in
li pts/60 182.34.22.145 Tue Sep 1 08:53 - 20:44 (11:51)
hu pts/23 125.108.80.12 Tue Sep 1 07:37 - 14:32 (06:54)
liu pts/28 175.42.122.253 Tue Sep 1 06:58 - 15:23 (08:25)
liu pts/23 171.35.141.103 Tue Sep 1 06:54 - 07:27 (00:32)
last | awk '{print $1 "\t" $3}'
liu 171.35.173.198
zhang 112.111.217.172
li 182.34.22.145
hu 125.108.80.12
[root@linuxidc ~]# netstat -nat | grep -v ffff | grep ":80" | tr -d "[A-Z][_]"| awk -F : '{if($3==80)print}'
tcp 0 0 10.15.201.29:38393 123.125.106.196:80
tcp 0 0 10.15.201.29:38383 60.28.236.116:80
tcp 0 0 10.15.201.29:44949 60.28.236.112:80
tcp 0 0 10.15.201.29:41445 60.28.236.116:80
tcp 0 0 10.15.201.29:47630 60.28.236.112:80
tcp 0 0 10.15.201.29:48624 60.28.236.116:80
tcp 0 0 10.15.201.29:48129 60.28.236.116:80
tcp 0 0 10.15.201.29:48837 60.28.236.112:80
tcp 0 0 10.15.201.29:50506 60.28.236.112:80
tcp 0 0 10.15.201.29:53923 60.28.236.112:80
awk '$0~/^\[/ { print $0}' nohup.out > nohup
awk '$0 !~/^\[/ { print $0}' nohup.out > raven.fa
$cut -f8 syri.vcf | grep -v "#" | awk -F ";" '{print $1}'| awk -F "=" '{if($2!="") print $2}' |head
38796
39256
39256
49568
50734
50734
169742
172530
176561
174182
选第8列；选择不含#的行； 选择以“：”分隔后的第一个字段列；选择以“=”分隔后，第二个字段列不为空的第二个字段列。
cut -f8 /share/nas1/liuhl/test/Pan-Genome/variant_annotation/data/syri.vcf | awk -F ";" '{print $1}'| awk -F "=" '{ print $2}' | paste /share/nas1/liuhl/test/Pan-Genome/variant_annotation/data/syri.vcf end.txt |awk '{print $1,"\t",$2,"\t",$9}' > vcf.bed