报告生成器,格式化文本输出
版本有:New awk(nawk),GNU awk( gawk)
gawk:模式扫描和处理语言
awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] ‘BEGIN{action;… }pattern{action;… }END{action;… }’ file …
awk 程序可由:BEGIN语句块、BODY语句(关键字BODY可以省略)、END语句块共3部分组成
program 通常是被放在单引号中
选项:
-F “分隔符” 指明输入时用到的字段分隔符
-v var=value 变量赋值
基本格式:awk [options] ‘program’ file…
Program:pattern{action statements;…}
pattern和action
• pattern部分决定动作语句何时触发及触发事件
• action statements对数据进行处理,放在{}内指明
如:print, printf
分隔符:每一个记录中划分区域的依据
域:每一条记录中被分割符划分成的小块
记录:awk每一次处理的单位
可分为三个部分:
awk ‘BEGIN{ commands } pattern{ commands } END{ commands }’
下面的流程图描述出了 AWK 的工作流程:
print格式:print item1, item2, …
要点:
(1) 逗号分隔符
(2) 输出item可以字符串,也可是数值;当前记录的字
(3) 如省略item,相当于print $0
awk ‘{print “hello,awk”}’
awk –F: ‘{print}’ /etc/passwd
awk –F: ‘{print “wang”}’ /etc/passwd
awk –F: ‘{print $1}’ /etc/passwd
awk –F: ‘{print $0}’ /etc/passwd
awk –F: ‘{print $1”\t”$3}’ /etc/passwd
grep “^UUID”/etc/fstab | awk ‘{print $2,$4}’
变量:内置和自定义变量
awk -v FS=’:’ '{print $1,FS,$3}’ /etc/passwd
awk –F: '{print $1,$3,$7}’ /etc/passwd
awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd
awk -v RS=’ ’ ‘{print }’ /etc/passwd
awk -v RS=’ ’ -v ORS=’###’‘{print }’ /etc/passwd
awk -F:‘{print NF}’ /etc/fstab 引用变量时,变量前不需加$
awk -F:‘{print $(NF-1)}’ /etc/passwd
awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab
awk
awk ‘{print FNR}’ /etc/fstab /etc/inittab
awk '{print FILENAME}’ /etc/fstab
awk '{print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab
自定义变量(区分字符大小写)
(1) -v var=value
(2) 在program中直接定义
示例:
awk -v test=‘hello gawk’ ‘{print test}’ /etc/fstab
awk -v test=‘hello gawk’ ‘BEGIN{print test}’
awk ‘BEGIN{test=“hello,gawk”;print test}’
awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd
cat awkscript
{print script,$1,$2}
awk -F: -f awkscript script=“awk” /etc/passwd
格式化输出:printf “FORMAT”, item1, item2, …
(1) 必须指定FORMAT
(2) 不会自动换行,需要显式给出换行控制符,\n
(3) FORMAT中需要分别为后面每个item指定格式符
%c:显示字符的ASCII码
%d, %i:显示十进制整数
%e, %E:显示科学计数法数值
%f:显示为浮点数
%g, %G:以科学计数法或浮点形式显示数值
%s:显示字符串
%u:无符号整数
%%:显示%自身
#[.#] 第一个数字控制显示的宽度;第二个#表示小数点后精度,%3.1f
- 左对齐(默认右对齐) %-15s
+ 显示数值的正负符号 %+d
awk -F: ‘{printf “%s”,$1}’ /etc/passwd
awk -F: ‘{printf “%s\n”,$1}’ /etc/passwd
awk -F: ‘{printf “%-20s %10d\n”,$1,$3}’ /etc/passwd
awk -F:‘ {printf “Username: %s\n”,$1}’ /etc/passwd
awk -F: ‘{printf “Username: %s,UID:%d\n",$1,$3}’ /etc/passwd
awk -F: ‘{printf “Username: %15s,UID:%d\n”,$1,$3}’ /etc/passwd
awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd
x+y, x-y, x*y, x/y, x^y, x%y
- x:转换为负数
+x:将字符串转换为数值
没有符号的操作符,字符串连接
, +=, -=, *=, /=, %=, ^=,++, –
下面两语句有何不同
• awk ‘BEGIN{i=0;print ++i,i}’
• awk ‘BEGIN{i=0;print i++,i}’
==, !=, >, >=, <, <=
~:左边是否和右边匹配,包含
!~:是否不匹配
示例:
awk -F: '$0 ~ /root/{print $1}‘ /etc/passwd
awk ‘$0~“^root"’ /etc/passwd
awk '$0 !~ /root/‘ /etc/passwd
awk -F: ‘$3==0’ /etc/passwd
示例:
• awk -F: ‘$3>=0 && $3<=1000 {print $1}’ /etc/passwd
• awk -F: ‘$30 || $3>=1000 {print $1}’ /etc/passwd
• awk -F: ‘!($30) {print $1}’ /etc/passwd
• awk -F: ‘!($3>=500) {print $3}’ /etc/passwd
selector?if-true-expression:if-false-expression
• 示例:
awk -F: ‘{$3>=1000?usertype=“Common User”:usertype="
SysUser";printf “%15s:%-s\n”,$1,usertype}’ /etc/passwd
PATTERN:根据pattern条件,过滤匹配的行,再做处理
仅处理能够模式匹配到的行,需要用/ /括起来
awk ‘/^UUID/{print $1}’ /etc/fstab
awk ‘!/^UUID/{print $1}’ /etc/fstab
真:结果为非0值,非空字符串
假:结果为空字符串或0值
示例:
awk -F: ‘i=1;j=1{print i,j}’ /etc/passwd
awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
Awk -F: ‘$3>=1000{print $1,$3}’ /etc/passwd
awk -F: ‘$3<1000{print $1,KaTeX parse error: Expected 'EOF', got '}' at position 2: 3}̲' /etc/passwd a…NF=="/bin/bash"{print 1 , 1, 1,NF}’ /etc/passwd
awk -F: ‘ N F / b a s h NF ~ /bash NF /bash/{print 1 , 1, 1,NF}’ /etc/passwd
awk PATTERN
startline,endline:/pat1/,/pat2/ 不支持直接给出数字格式
awk -F: ‘/root>/,/nobody>/{print $1}’ /etc/passwd
awk -F: ‘(NR>=10&&NR<=20){print NR,$1}’ /etc/passwd
BEGIN{}:仅在开始处理文件中的文本之前执行一次
END{}:仅在文本处理完成之后执行一次
示例
awk -F : ‘BEGIN {print “USER USERID”} {print $1“:”$3} END{print “END FILE"}’ /etc/passwd
awk -F : ‘{print “USER USERID“;print $1”:"$3} END{print “END FILE”}’ /etc/passwd
awk -F: ‘BEGIN{print " USER UID \n--------------- "}{print $1,$3}’ /etc/passwd
awk -F: ‘BEGIN{print “ USER UID \n--------------- ”}{print $1,$3}’END{print “==============”} /etc/passwd
seq 10 | awk ‘i=0’
seq 10 | awk ‘i=1’
seq 10 | awk ‘i=!i’
seq 10 | awk '{i=!i;print i}‘
seq 10 | awk ‘!(i=!i)’
seq 10 |awk -v i=1 ‘i=!i’
awk action
• (1) Expressions:算术,比较表达式等
• (2) Control statements:if, while等
• (3) Compound statements:组合语句
• (4) input statements
• (5) output statements:print等
{ statements;… } 组合语句
if(condition) {statements;…}
if(condition) {statements;…} else {statements;…}
if(condition1){statement1}else if(condition2){statement2}else{statement3}
switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; …; default: statementn}
while(conditon) {statments;…}
do {statements;…} while(condition)
for(expr1;expr2;expr3) {statements;…}
delete array[index]
delete array
exit
switch语句
语法:switch(expression) {case VALUE1 or /REGEXP/: statement1; case
VALUE2 or /REGEXP2/: statement2; …; default: statementn}
break和continue
awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%20)continue;sum+=i}print sum}’
awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i66)break;sum+=i}print sum}’
break 结束整个循环
continue 结束本次循环,进入下一轮
next:提前结束对本行处理而直接进入下一行处理(awk自身循环)
awk -F: ‘{if($3%2!=0) next; print $1,$3}’ /etc/passwd
语法:
if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2}else{statement3}
使用场景:对awk取得的整行或某个字段做条件判断
示例:
awk -F: ‘{if($3>=1000)print $1,$3}’ /etc/passwd
awk -F: ‘{if($NF=="/bin/bash") print $1}’ /etc/passwd
awk ‘{if(NF>5) print $0}’ /etc/fstab
awk -F: ‘{if($3>=1000) {printf “Common user: %s\n”,$1} else {printf “root or Sysuser: %s\n”,$1}}’ /etc/passwd
awk -F: ‘{if($3>=1000) printf “Common user: %s\n”,$1; else printf “root or Sysuser: %s\n”,$1}’ /etc/passwd
df -h|awk -F% '/^/dev/{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 1}̲'|awk 'NF>=80{print $1,$5}‘
awk ‘BEGIN{ test=100;if(test>90){print “very good“}else if(test>60){ print ”good”}else{print “no pass”}}’
语法:do {statement;…}while(condition)
意义:无论真假,至少执行一次循环体
示例:
awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’
语法:for(expr1;expr2;expr3) {statement;…}
常见用法:
for(variable assignment;condition;iteration process)
{for-body}
特殊用法:能够遍历数组中的元素
语法:for(var in array) {for-body}
示例:
awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print i , l e n g t h ( i,length( i,length(i)}}’ /etc/grub2.cfg
关联数组:array[index-expression]
index-expression:
(1) 可使用任意字符串;字符串要使用双引号括起来
(2) 如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为“空串”,数值运算时候为0;
(3) 若要判断数组中是否存在某元素,要使用“index in array”格式进行遍历
示例:
awk 'BEGIN{weekdays[“mon”]=“Monday”;weekdays[“tue”]=“Tuesday”;print weekdays[“mon”]}‘
awk ‘!line[$0]++’ dupfile
awk ‘{!line[$0]++;print $0, line[$0]}’ dupfile
若要遍历数组中的每个元素,要使用for循环
for(var in array) {for-body}
注意:var会遍历array的每个索引
示例:
awk‘BEGIN{weekdays[“mon”]=“Monday”;weekdays[“tue”]=“Tuesday”;for(i in weekdays) {print weekdays[i]}}’
netstat -tan | awk ‘/^tcp/{state[$NF]++}END{for(i in state) { print i,state[i]}}’
awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}’ /var/log/httpd/access_log
数值处理:
返回0和1之间一个随机数
awk ‘BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }’
字符串处理:
返回指定字符串的长度
对t字符串搜索r表示模式匹配的内容,并将第一个匹配内容替换为s
echo “2008:08:08 08:08:08” | awk ‘sub(/?,“-",$1)’
对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表
示的内容
echo “2008:08:08 08:08:08” | awk ‘gsub(/?,“-",$0)’
以r为分隔符,切割字符串s,并将切割后的结果保存至array所
表示的数组中,第一个索引值为1,第二个索引值为2,…
netstat -tn | awk '/^tcp>/{split($5,ip,"?;count[ip[1]]++}
END{for (i in count) {print i,count[i]}}’
function name ( parameter, parameter, … ) {
statements
return expression
}
示例:
cat fun.awk
function max(x,y) {
x>y?var=x:var=y
return var
}
BEGIN{a=3;b=2;print max(a,b)}
awk -f fun.awk
system命令
空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔,或者说除了awk的变量外其他一律用""引用起来
awk ‘BEGIN{system(“hostname”) }’
awk ‘BEGIN{score=100; system("echo your score is " score) }’
1、文件ip_list.txt如下格式,请提取”.magedu.com”前面的主机名部分并写
入到回到该文件中
1 blog.magedu.com
2 www.magedu.com
…
999 study.magedu.com
2、统计/etc/fstab文件中每个文件系统类型出现的次数
awk ‘/^/dev/{fs[$3]++}END{for(i in fs){print i,fs[i]}}’ /etc/fstab
3、统计/etc/fstab文件中每个单词出现的次数
grep -E “\b[[:alpha:]]+\b” /etc/fstab -o | sort | uniq -c
4、提取出字符串Yd C @ M 05 M B e c h o " Y d C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字 echo "Yd C@M05MBecho"YdC@M05MB%9&Bdh7dq+YVixp3vpw"|grep -o -E “[[:digit:]]”
5、有一文件记录了1-100000之间随机的整数共5000个,存储的格式
100,50,35,89…请取出其中最大和最小的整数
6、解决DOS攻击生产案例:根据web日志或者或者网络连接数,监控当某个IP
并发连接数或者短时内PV达到100,即调用防火墙命令封掉对应的IP,监控频
率每隔5分钟。防火墙命令为:iptables -A INPUT -s IP -j REJECT
7、将以下文件内容中FQDN取出并根据其进行计数从高到低排序
http://mail.magedu.com/index.html
http://www.magedu.com/test.html
http://study.magedu.com/index.html
http://blog.magedu.com/index.html
http://www.magedu.com/images/logo.jpg
http://blog.magedu.com/20080102.html
8、将以下文本以inode为标记,对inode相同的counts进行累加,并且统计出
同一inode中,beginnumber的最小值和endnumber的最大值
inode|beginnumber|endnumber|counts|
106|3363120000|3363129999|10000|
106|3368560000|3368579999|20000|
310|3337000000|3337000100|101|
310|3342950000|3342959999|10000|
310|3362120960|3362120961|2|
311|3313460102|3313469999|9898|
311|3313470000|3313499999|30000|
311|3362120962|3362120963|2|
输出的结果格式为:
310|3337000000|3362120961|10103|
311|3313460102|3362120963|39900|
106|3363120000|3368579999|30000|