AWK

awk '�l件�型1{�幼�1} �l件�型2{�幼�2} ...' filename

��得��Q 代表意�x
NF 每一行 ($0) �碛械�谖豢���
NR 目前 awk 所�理的是『第�仔小毁Y料
FS 目前的分隔字元,�A�O是空白

为了省空间,我通常使用'1'来代替'{print}'去打印每行,两种写法都能正确运行。

一、文本间隔:

 

# 每行后面增加一行空行

awk'1;{print ""}'

awk'BEGIN{ORS="\n\n"};1'

 

 

# 每行后面增加一行空行。输出文件不会包含连续的两个或两个以上的空行

# 注意:在Unix系统, DOS行包括的 CRLF \r\n通常会被作为非空行对待

# 因此 'NF' 将会返回TRUE

awk'NF{print $0 "\n"}'

 

 

# 每行后面增加两行空行

awk'1;{print "\n"}'

 

 

二、编号和计算:

 

 

# 以文件为单位,在每句行前加上编号(左对齐)

# 使用制表符\t来代替空格可以有效保护页变的空白。

awk'{print FNR "\t" $0}' files*

 

 

# 用制表符\t给所有文件加上连贯的编号。

awk'{print NR "\t" $0}' files*

 

 

# 以文件为单位,在每句行前加上编号(编号在左,右对齐)

# 如果在DOS环境下,需要写两个'%'

awk'{printf("%5d : %s\n", NR,$0)}'

 

 

# 给非空白行的行加上编号

# 记得Unix对于 \r 的处理的特殊之处。(上面已经提到)

awk'NF{$0=++a " :" $0};{print}'

awk'{print (NF? ++a " :" :"") $0}'

 

 

# 计算行数(模拟 "wc -l"

awk'END{print NR}'

 

 

# 计算每行每个区域之和

awk'{s=0; for (i=1; i<=NF; i++) s=s+$i; print s}'

 

 

# 计算所有行所有区域的总和

awk'{for (i=1; i<=NF; i++) s=s+$i}; END{print s}'

 

 

# 打印每行每区域的绝对值

awk'{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }'

awk'{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'

 

 

# 计算所有行所有区域(词)的个数

awk'{ total = total + NF }; END {print total}' file

 

 

# 打印包含 "Beth" 的行数

awk'/Beth/{n++}; END {print n+0}' file

 

 

# 打印第一列最大的行

# 并且在行前打印出这个最大的数

awk'$1 > max {max=$1; maxline=$0}; END{ print max, maxline}'

 

 

# 打印每行的列数,并在后面跟上此行内容

awk'{ print NF ":" $0 } '

 

 

# 打印每行的最后一列

awk'{ print $NF }'

 

 

# 打印最后一行的最后一列

awk'{ field = $NF }; END{ print field }'

 

 

# 打印列数超过4的行

awk'NF > 4'

 

 

# 打印最后一列大于4的行

awk'$NF > 4'

 

 

三、构建字符串:

 

 

# 构建一指定长度的字符串(比如,513个空格)

awk'BEGIN{while (a++<513) s=s " "; print s}'

 

 

# 在某一位置中插入以特定长度的字符串

# 例子:在每行第6列后插入49个空格

gawk --re-interval 'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'

 

 

四、构建数组:

 

 

# 以下两个部分并不是一句话脚本,但是这些技巧相当便捷所以也包括进来

# 构建一个叫"month"的数组,以数字为索引,month[1]就是'Jan'month[2]就是

# 'Feb'month[3]就是'Mar',以此类推。

split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month," ")

 

 

# 构建一个叫"mdigit"的数组,以字符串为索引,mdigit["Jan"] 等于 1

# mdigit["Feb"] 等于 2,等等。需要有"month"数组。

for(i=1; i<=12; i++) m_digit[month[i]]= i

 

 

五、文本转换和替代:

 

 

# Unix环境:转换DOS新行CR/LFUnix格式

awk'{sub(/\r$/,"")};1'# 假设每行都以Ctrl-M结尾

 

 

# Unix环境:转换Unix新行LFDOS格式

awk'{sub(/$/,"\r")};1'

 

 

# DOS环境:转换Unix新行LFDOS格式

awk1

 

 

# DOS环境:转换DOS新行CR/LFUnix格式

# DOS版本的awk不能运行, 只能用gawk:

gawk -v BINMODE="w"'1' infile >outfile

 

 

# "tr" 替代的方法。

tr -d \r <infile >outfile# GNU tr 版本为 1.22 或者更高

 

 

# 删除每行前的空白(包括空格符和制表符)

# 使所有文本左对齐

awk'{sub(/^[ \t]+/, "")};1'

 

 

# 删除每行结尾的空白(包括空格符和制表符)

awk'{sub(/[ \t]+$/, "")};1'

 

 

# 删除每行开头和结尾的所有空白(包括空格符和制表符)

awk'{gsub(/^[ \t]+|[ \t]+$/,"")};1'

awk'{$1=$1};1'# 每列之间的空白也被删除

 

 

# 在每一行开头处插入5个空格(做整页的左位移)

awk'{sub(/^/, "")};1'

 

 

# 79个字符为宽度,将全部文本右对齐

awk'{printf "%79s\n", $0}' file*

 

 

# 79个字符为宽度,将全部文本居中对齐

awk'{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}' file*

 

 

# 每行用 "bar" 查找替换 "foo"

awk'{sub(/foo/,"bar")}; 1'# 仅仅替换第一个找到的"foo"

gawk '{$0=gensub(/foo/,"bar",4)}; 1'# 仅仅替换第四个找到的"foo"

awk'{gsub(/foo/,"bar")}; 1'# 全部替换

 

 

# 在包含 "baz" 的行里,将 "foo" 替换为 "bar"

awk'/baz/{gsub(/foo/, "bar")}; 1'

 

 

# 在不包含 "baz" 的行里,将 "foo" 替换为 "bar"

awk'!/baz/{gsub(/foo/, "bar")}; 1'

 

 

# "scarlet" 或者 "ruby" 或者 "puce" 替换为 "red"

awk'{gsub(/scarlet|ruby|puce/, "red")}; 1'

 

 

# 倒排文本(模拟 "tac"

awk'{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }' file*

 

 

# 如果一行结尾为反斜线符,将下一行接到这行后面

# (如果有连续多行后面带反斜线符,将会失败)

awk'/\\$/ {sub(/\\$/,""); getline t; print $0 t; next}; 1' file*

 

 

# 排序并打印所有登录用户的姓名

awk-F ":"'{ print $1 | "sort" }'/etc/passwd

 

 

# 以相反的顺序打印出每行的前两列

awk'{print $2, $1}' file

 

 

# 调换前两列的位置

awk'{temp = $1; $1 = $2; $2 = temp}' file

 

 

# 打印每行,并删除第二列

awk'{ $2 = ""; print }'

 

 

# 倒置每行并打印

awk'{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}' file

 

 

# 用逗号链接每5

awk'ORS=NR%5?",":"\n"' file

 

 

六、选择性的打印某些行:

 

 

# 打印文件的前十行(模拟 "head"

awk'NR < 11'

 

 

# 打印文件的第一行(模拟 "head -1"

awk'NR>1{exit};1'

 

 

# 打印文件的最后两行(模拟 "tail -2"

awk'{y=x "\n" $0; x=$0};END{print y}'

 

 

# 打印文件的最后一行(模拟 "tail -1"

awk'END{print}'

 

 

# 打印匹配正则表达式的行(模拟 "grep"

awk'/regex/'

 

 

# 打印不匹配正则表达式的行(模拟 "grep -v"

awk'!/regex/'

 

 

# 打印第5列等于"abc123"的行

awk'$5 == "abc123"'

 

 

# 打印第5列不等于"abc123"的行

# 这个同样可以用于打印少于5列的行

awk'$5 != "abc123"'

awk'!($5 == "abc123")'

 

 

# 用正则匹配某一列

awk'$7~ /^[a-f]/'# 打印第7列匹配的行

awk'$7 !~ /^[a-f]/'# 打印第7列不匹配的行

 

 

# 打印匹配正则表达式的前一行,但是不打印当前行

awk'/regex/{print x};{x=$0}'

awk'/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}'

 

 

# 打印匹配正则表达式的后一行,但是不打印当前行

awk'/regex/{getline;print}'

 

 

# 以任何顺序查找包含 AAABBB CCC 的行

awk'/AAA/; /BBB/; /CCC/'

 

 

# 以指定顺序查找包含 AAABBB CCC 的行

awk'/AAA.*BBB.*CCC/'

 

 

# 打印长度大于64个字节的行

awk'length > 64'

 

 

# 打印长度小于64个字节的行

awk'length < 64'

 

 

# 打印从匹配正则起到文件末尾的内容

awk'/regex/,0'

awk'/regex/,EOF'

 

 

# 打印指定行之间的内容8-12, 包括第8和第12行)

awk'NR==8,NR==12'

 

 

# 打印第52

awk'NR==52'

awk'NR==52 {print;exit}'# 对于大文件更有效率

 

 

# 打印两个正则匹配间的内容(包括正则的内容)

awk'/Iowa/,/Montana/'# 大小写敏感

 

 

六、选择性的删除某些行:

 

 

# 删除所有空白行(类似于 "grep '.' "

awk NF

awk'/./'

 

 

# 删除重复连续的行(模拟 "uniq"

awk'a !~ $0; {a=$0}'

 

 

# 删除重复的、非连续的行

awk'! a[$0]++'# 最简练

awk'!($0 in a) {a[$0];print}'# 最有效

 

 

致谢:

 

 

特别感谢 Peter S. Tillier 帮助我完成了一版的FAQ。同样感谢Daniel Jana

董一粟和其他提出建议和修正的人。

 

 

更多的语法指令,包括用文件脚本来使用awk,可以参考如下:

 

 

"sed & awk, 2nd Edition," by Dale Dougherty and Arnold Robbins

O'Reilly, 1997

"UNIX Text Processing," by Dale Dougherty and Tim O'Reilly

Hayden Books,1987

"GAWK: Effective awk Programming,"3d edition, by Arnold D. Robbins

(O'Reilly, 2003) 或者网址 http://www.gnu.org/software/gawk/manual/

 

 

为了能开发awk的强大功能,开发人员必须知道 "正则表达式"。关于正则

的详细讨论,可以查看

"Mastering Regular Expressions, 3d edition" by Jeffrey Friedl (O'Reilly,

2006).

 

 

Unix系统下info和帮助手册("man")会非常有帮助(尝试使用"man awk"

"man nawk""man gawk""man regexp"或者"man ed"里面的正则表达式章节)。

 

 

awk脚本里面使用'\t':为了使文档变得清晰,我们在脚本里使用了表达式'\t'

来显示一个制表符0x99)。所有awk的版本,甚至UNIX系统7的版本应该能认出

'\t'这种缩写

你可能感兴趣的:(awk,空间,制表符)