文本三剑客之awk

awk介绍

1     awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出 
2     有多种版本：New awk（nawk），GNU awk（ gawk） 
3     gawk：模式扫描和处理语言 
4     基本用法： 
5         awk [options] 'program' var=value file… 
6         awk [options] -f programfile var=value file… 
7         awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ... 
8         awk 程序可由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成 
9         program (程序）通常是被放在单引号中 

awk的工作原理

 1     第一步：执行BEGIN{action;… }语句块中的语句 
 2     第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，
 3         它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。  
 4     第三步：当读至输入流末尾时，执行END{action;…}语句块 
 5     BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，
 6         比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中 
 7     END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的
 8         分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块  
 9     pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供
10         pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每
11         一行都会执行该语句块 

awk基本格式

 1     基本格式：awk [options] 'program' file… 
 2     Program：pattern{action statements;..} 
 3     pattern和action 
 4         pattern部分决定动作语句何时触发及触发事件 
 5             BEGIN,END 
 6         action statements对数据进行处理，放在{}内指明 
 7             print, printf 
 8     分割符、域和记录 
 9         awk执行时，由分隔符分隔的字段（域）标记$1,$2...$n称为域标识。$0为所有域，注意：此时和shell中变量$符含义不同 
10         文件的每一行称为记录 
11         省略action，则默认执行 print $0 的操作 

awk之print格式

 1     print格式：print item1, item2, ... 
 2     要点： 
 3         (1) 逗号分隔符 
 4         (2) 输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式 
 5         (3) 如省略item，相当于print $0 
 6     示例： 
 7         awk '{print "hello,awk"}' 
 8         awk –F: '{print}' /etc/passwd 
 9         awk –F: ‘{print “wang”}’ /etc/passwd 
10         awk –F: ‘{print $1}’ /etc/passwd 
11         awk –F: ‘{print $0}’ /etc/passwd 
12         awk –F: ‘{print $1”\t”$3}’ /etc/passwd 

awk变量

 1     变量：内置和自定义变量 
 2     FS：输入字段分隔符，默认为空白字符 
 3         awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd 
 4         awk –F: '{print $1,$3,$7}’ /etc/passwd 
 5     F：filed（域、列、字段）
 6     S：表示分割符
 7     OFS：输出字段分隔符，默认为空白字符 
 8         awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd 
 9     O：输出
10     OFS：输出分割符
11     RS：输入记录分隔符，指定输入时的换行符 
12         awk -v RS=' ' ‘{print }’ /etc/passwd 
13     ORS：输出记录分隔符，输出时用指定符号代替换行符 
14         awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 
15     NF：字段数量 
16         awk -F：‘{print NF}’ /etc/fstab 引用变量时，变量前不需加$ 
17         awk -F：‘{print $(NF-1)}' /etc/passwd 
18     NR：记录号 
19         awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab 

 1     FNR：各文件分别计数,记录号 
 2         awk '{print FNR}' /etc/fstab /etc/inittab 
 3     FILENAME：当前文件名 
 4         awk '{print FILENAME}’ /etc/fstab 
 5     ARGC：命令行参数的个数 
 6         awk '{print ARGC}’ /etc/fstab /etc/inittab 
 7         awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab 
 8     ARGV：数组，保存的是命令行所给定的各参数 
 9         awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab 
10         awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab 

 1     自定义变量(区分字符大小写) 
 2         (1) -v var=value 
 3         (2) 在program中直接定义 
 4     示例： 
 5         awk -v test='hello gawk' '{print test}' /etc/fstab 
 6         awk -v test='hello gawk' 'BEGIN{print test}' 
 7         awk 'BEGIN{test="hello,gawk";print test}' 
 8         awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd 
 9         cat awkscript 
10         {print script,$1,$2} 
11         awk -F: -f awkscript script=“awk” /etc/passwd 

awk之printf

 1     格式化输出：printf “FORMAT”, item1, item2, ... 
 2         (1) 必须指定FORMAT 
 3         (2) 不会自动换行，需要显式给出换行控制符，\n 
 4         (3) FORMAT中需要分别为后面每个item指定格式符 
 5     格式符：与item一一对应 
 6         %c：显示字符的ASCII码 
 7         %d, %i：显示十进制整数 
 8         %e, %E：显示科学计数法数值 
 9         %f：显示为浮点数 
10         %g, %G：以科学计数法或浮点形式显示数值 
11         %s：显示字符串 
12         %u：无符号整数 
13         %%：显示%自身 
14     修饰符 
15         #[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f 
16         - 左对齐（默认右对齐） %-15s 
17         + 显示数值的正负符号 %+d 

awk操作符

 1     算术操作符： 
 2         x+y, x-y, x*y, x/y, x^y, x%y 
 3         - x：转换为负数 
 4         +x：将字符串转换为数值 
 5     字符串操作符：没有符号的操作符，字符串连接 
 6     赋值操作符： 
 7             =, +=, -=, *=, /=, %=, ^=，++, -- 
 8         下面两语句有何不同 
 9             awk ‘BEGIN{i=0;print ++i,i}’ 
10             awk ‘BEGIN{i=0;print i++,i}’ 

 1     比较操作符： 
 2         ==, !=, >, >=, <, <= 
 3     模式匹配符： 
 4         ~：左边是否和右边匹配，包含 
 5             !~：是否不匹配 
 6         示例： 
 7             awk -F: '$0 ~ /root/{print $1}‘ /etc/passwd 
 8             awk '$0~“^root"' /etc/passwd 
 9             awk '$0 !~ /root/‘ /etc/passwd 
10             awk -F: ‘$3==0’ /etc/passwd 

 1     逻辑操作符：与&&，或||，非! 
 2     示例： 
 3         awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd 
 4         awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd 
 5         awk -F: ‘!($3==0) {print $1}' /etc/passwd 
 6         awk -F: ‘!($3>=500) {print $3}’ /etc/passwd 
 7     条件表达式（三目表达式） 
 8         selector?if-true-expression:if-false-expression 
 9         示例： 
10             awk -F: '{$3>=1000?usertype="Common User":usertype=" 
11             SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd 

awk PATTERN 

 1     PATTERN:根据pattern条件，过滤匹配的行，再做处理 
 2         (1)如果未指定：空模式，匹配每一行 
 3         (2) /regular expression/：仅处理能够模式匹配到的行，需要用/  /括起来 
 4             awk '/^UUID/{print $1}' /etc/fstab 
 5             awk '!/^UUID/{print $1}' /etc/fstab 
 6         (3) relational expression: 关系表达式，结果为“真”才会被处理 
 7             真：结果为非0值，非空字符串 
 8             假：结果为空字符串或0值            
 9     示例： 
10         awk   -F:  'i=1;j=1{print i,j}' /etc/passwd 
11         awk  ‘!0’  /etc/passwd ;  awk  ‘!1’   /etc/passwd 
12         Awk  -F: '$3>=1000{print $1,$3}'  /etc/passwd 
13         awk  -F: '$3<1000{print $1,$3}'  /etc/passwd 
14         awk  -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd 
15         awk  -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd 

1     (4) line ranges：行范围 
2         startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式 
3         awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd 
4         awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd 
5     (5) BEGIN/END模式 
6         BEGIN{}：仅在开始处理文件中的文本之前执行一次 
7         END{}：仅在文本处理完成之后执行一次 

awk action 

1     常用的action分类 
2         (1) Expressions：算术，比较表达式等 
3         (2) Control statements：if, while等 
4         (3) Compound statements：组合语句 
5         (4) input statements 
6         (5) output statements：print等 

awk控制语句 

 1     { statements;… } 组合语句 
 2     if(condition) {statements;…}  
 3     if(condition) {statements;…} else {statements;…} 
 4     while(conditon) {statments;…} 
 5     do {statements;…} while(condition) 
 6     for(expr1;expr2;expr3) {statements;…} 
 7     break 
 8     continue 
 9     delete array[index] 
10     delete array 
11     exit  

awk控制语句if-else 

 1     语法：if(condition){statement;…}[else statement] 
 2         if(condition1){statement1}else if(condition2){statement2}else{statement3} 
 3     使用场景：对awk取得的整行或某个字段做条件判断 
 4     示例： 
 5         awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd 
 6         awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd 
 7         awk '{if(NF>5) print $0}' /etc/fstab 
 8         awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or 
 9         Sysuser: %s\n",$1}}' /etc/passwd 
10         awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or 
11         Sysuser: %s\n",$1}' /etc/passwd 
12         df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘ 
13         awk ‘BEGIN{ test=100;if(test>90){print “very good“} 
14             else if(test>60){ print ”good”}else{print “no pass”}}’ 

awk控制语句 while循环 

 1     语法：while(condition){statement;…} 
 2     条件“真”，进入循环；条件“假”，退出循环 
 3     使用场景： 
 4         对一行内的多个字段逐一类似处理时使用 
 5         对数组中的各元素逐一处理时使用 
 6     示例： 
 7         awk '/^[[:space:]]*linux16/{i=1;while(i<=NF)  
 8             {print $i,length($i); i++}}' /etc/grub2.cfg 
 9         awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print 
10             $i,length($i)}; i++}}’ /etc/grub2.cfg 

awk控制语句do-while循环

1     语法：do {statement;…}while(condition) 
2     意义：无论真假，至少执行一次循环体 
3     示例：  
4         awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ 

awk控制语句 for循环

1     语法：for(expr1;expr2;expr3) {statement;…} 
2     常见用法： 
3         for(variable assignment;condition;iteration process) 
4             {for-body} 
5     特殊用法：能够遍历数组中的元素 
6         语法：for(var in array) {for-body} 
7     示例： 
8         awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' 
9             /etc/grub2.cfg 

awk控制语句switch语句 

1     语法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case 
2         VALUE2 or /REGEXP2/: statement2; ...; default: statementn} 
3     break和continue 
4         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
5             {if(i%2==0)continue;sum+=i}print sum}' 
6         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
7             {if(i==66)break;sum+=i}print sum}' 

awk数组

 1     关联数组：array[index-expression] 
 2     index-expression: 
 3         (1) 可使用任意字符串；字符串要使用双引号括起来 
 4         (2) 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串” 
 5         (3) 若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历 
 6     示例： 
 7         weekdays["mon"]="Monday"  
 8         awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; 
 9             print weekdays["mon"]}‘ 
10         awk ‘!line[$0]++’ dupfile 
11         awk '{!line[$0]++;print $0, line[$0]}'  dupfile 

1     若要遍历数组中的每个元素，要使用for循环 
2     for(var in array) {for-body} 
3     注意：var会遍历array的每个索引 
4     示例：  
5         awk‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";
6             for(i in weekdays) {print weekdays[i]}}' 
7         netstat -tan | awk '/^tcp/{state[$NF]++} 
8             END{for(i in state) { print i,state[i]}}' 
9         awk  '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}'   /var/log/httpd/access_log 

awk函数

 1     数值处理： 
 2         rand()：返回0和1之间一个随机数 
 3         awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 
 4     字符串处理： 
 5         length([s])：返回指定字符串的长度 
 6         sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s 
 7             echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)' 
 8         gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容 
 9             echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)' 
10         split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所
11             表示的数组中，第一个索引值为1,第二个索引值为2,… 
12                 netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} 
13                     END{for (i in count) {print i,count[i]}}’ 

 1     自定义函数格式： 
 2         function name ( parameter, parameter, ... ) { 
 3                         statements 
 4                         return expression 
 5         } 
 6     示例： 
 7         cat fun.awk 
 8         function max(x,y) { 
 9             x>y?var=x:var=y 
10             return var 
11         } 
12         BEGIN{a=3;b=2;print max(a,b)} 
13         awk -f fun.awk  

awk脚本 

1     将awk程序写成脚本，直接调用或执行 
2     示例： 
3     cat f1.awk 
4         {if($3>=1000)print $1,$3} 
5     awk -F: -f f1.awk /etc/passwd  

 1 向awk脚本传递参数 
 2     格式： 
 3         awkfile var=value var2=value2... Inputfile 
 4     注意：在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通
 5         过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变
 6         量都需要一个-v参数 
 7     示例： 
 8         cat test.awk 
 9             #!/bin/awk –f 
10             {if($3 >=min && $3<=max)print $1,$3} 
11         chmod +x test.awk 
12         test.awk -F: min=100 max=200 /etc/passwd

awk实例：

1 1、判断UID是否大于等于500，如果为真就显示为普通用户，如果为假就显示为系统或管理用户
2 awk -F: '{$3>=500?name="common user":name="system user";print name,$1,$3}' /etc/passwd
3 2、显示用户id为奇数的用户。
4 awk -F: '{if(NR%2==0)next;print NR,$0}' /etc/passwd
5 3、统计web服务访问日志中的ip访问量
6 awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log