Let's awk!

awk是Linux自带的一种文本处理工具，能够快速有效地对Linux下的文本文件进行处理，尤其针对较大的文本文件。在处理生信文本文件时，相较于Perl与Python，更具有灵活、高效的特点。

awk的程序结构：

pattern { action }

awk的基本操作是一行一行地扫描输入，搜索匹配任意程序中模式的行。
几个实例：

#使用拟南芥gff文件
curl -O ftp://ftp.arabidopsis.org/home/tair/Genes/TAIR10_genome_release/TAIR10_gff3/TAIR10_GFF3_genes.gff

#*$1, $2, $3指的就是第1-3列的数据
cat NC.gff | awk ' { print $1, $2, $3 } ' | head -5

#每个特征序列长度是多少？
#*第5列的数值减去第4列的数值后+1，即得到特征序列的长度
cat NC.gff | awk ' { print $3, $5-$4 + 1 } ' | head -5

# 我们可以利用模式匹配来提取CDS特征。
cat NC.gff | awk '$3 =="gene" { print $3, $5-$4 + 1, $9 } '

# 计算所有基因的累积长度。
cat NC.gff | awk '$3 =="gene" { len=$5-$4 + 1; size += len; print "Size:", size } 

# 计算所有CDS的累积长度。
cat NC.gff | awk '$3 =="CDS" { len=$5-$4 + 1; size += len; print "Size:", size } '

特殊要点:
1 每行第一个字段
NF 字段数量变量
NR 每行的记录号，多文件记录递增
FNR 与NR类似，不过多文件记录不递增，每个文件都从1开始
\t 制表符
\n 换行符
FS BEGIN时定义分隔符
RS 输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~ 匹配，与==相比不是精确比较
!~ 不匹配，不精确比较
== 等于，必须全部相等，精确比较
!= 不等于，精确比较
&&　 逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
FILENAME 文件名
OFS 输出字段分隔符， 默认也是空格，可以改为制表符等
ORS 输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]' 定义三个分隔符

print & $0
print 是awk打印指定内容的主要命令
awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwd
awk '{print " "}' /etc/passwd //不输出passwd的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
awk '{print "a"}' /etc/passwd //输出相同个数的a行，一行只有一个a字母
awk -F":" '{print $1}' /etc/passwd
awk -F: '{print $1; print $2}' /etc/passwd //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //输出字段1,3,6，以制表符作为分隔符

#从GFF文件中分离提取基因名字。
cat TAIR10_GFF3_genes.gff |awk '$3 == "gene"{split($9,x,";");split(x[1], y, " ");name = y[2];gsub("\"", "", name); print $3, name, $5 - $4 + 1 } '