Linux文本处理工具 AWK
一：AWK介绍
AWK工作原理:
主要功能是实现报告生成器，格式化文档，经常用于处理各种文档
自带循环自动读入一行进行处理，行可以自己指定，行的分隔符不一定是回车，每次读入文件的一行，开启一个awk内存空间，多行处理，可以根据分割符切割成字段
先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
-----AWK有三种运行方式
1）awk命令行 #awk
2）awk程序文件 #awk -f /data/awk_script//将swk命令写到文件中，然后调用这个文件
3）awk脚本 #!/bin/awk -f
二、AWK用法
AWK语法
格式1:cmd | awk [options] 'program' //前置命令 | awk 【选项】‘【条件】{编辑指令}‘
格式2:awk [options] 'program' file… / awk 【选项】‘【条件】{编辑指令}’ 文件....
[option]选项
-F:指明输入时用到的字段分隔符
-v:-v var_name=value变量赋值 定义变量
-f:调用awk脚本进行处理 后面可以是一个文件
program:pattern{action statements;..} //模式和动作
pattern模式: //决定动作语句何时触发及触发事，
1)如果未指定，空模式，匹配每一行
2）/regularexpression/：仅处理能够模式匹配到的行，需要用/ /括起来
#awk '/^UUID/{print $1}' /etc/fstab //打印uuid开头的行
3）relationalexpression: 关系表达式，结果为“真”才会被处理
真：结果为非0值，非空字符串
假：结果为空字符串或0值
4）line ranges：行范围；startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式
5)BEGIN/END模式
BEGIN{} 读入第一行文本前执行一次一般用来初始化操作
END{}处理完最后一行文本之后执行一次一般用来输出处理结果
例:统计使用bash的用户个数
#awk 'BEGIN{X=0}/\ action动作: //对数据进行的操作，放在{}里 print :格式 print item1, item2, …//逗号为分隔符，输出的item可以是字符串数值变量表达式。 例: #awk '{print "hello,awk"}' #awk –F: '{print}' /etc/passwd #awk –F: ‘{print “wang”}’ /etc/passwd #awk –F: ‘{print $1}’ /etc/passwd printf命令 : 格式:printf "FORMAT" ,item1,item2,…//指格式化输出，必须指定FORMAT，不会自动换行，换行使用换行符\n;FORMAT中需要为每个item指定格式符 格式符:与item--对应 %c: 显示字符的ASCII码 %d, %i: 显示十进制整数 %e, %E:显示科学计数法数值 %f：显示为浮点数 %g, %G：以科学计数法或浮点形式显示数值 %s：显示字符串 %u：无符号整数 %%: 显示%自身 修饰符： #[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f -: 左对齐（默认右对齐） %-15s +：显示数值的正负符号 %+d 例: #awk -F: '{printf "%-20s%10d\n",$1,$3}' /etc/passwd #awk -F: ‘{printf “Username:%s,UID:%d\n",$1,$3}’ /etc/passwd #awk -F: ‘{printf "Username:%15s,UID:%d\n",$1,$3}’ /etc/passwd 分割符、域和记录 awk执行时，由分隔符分隔的字段（域）标记$1,$2..$n称为域标识。$0为所有域， 文件的每一行称为记录,每一列成为字段 #awk '{print $0}' /etc/fstab> a.txt //打印fstab文件所有列重定向到a.txt文件中 AWK变量 变量:内置变量和自定义变量 FS:输入字段分隔符 例#awk -v FS=':''{print $1,FS,$3}' /etc/passwd OFS:输出字段分隔符 例#awk -v FS= ':' -v OFS= ':''{print $1,$3,$7}' /etc/passwd RS:输入时的行分隔符，默认为换行符 ORS输出时的行分隔符 NF当前行的字段个数 //引用内置变量可以不用$ print NF 显示当前行的字段数 print $NF显示当前行的第NF字段的值 $NF $1 最后一个字段 NR记录号 行号 #awk '{print NR}' /etc/passwd ;awk END'{print NR}' /etc/passwd FILENAME：当前文件名 #awk '{print FILENAME}' /etc/fstab 自定义变量(区分字符大小写) (1) -v var=value (2) 在program中直接定义 #awk -v test='hello gawk' '{print test}'/etc/fstab #awk –F:‘{sex=“male”;print$1,sex,age;age=18}’ /etc/passwd AWK操作符 算数操作符 ： x+y, x-y,x*y, x/y, x^y, x%y；-x: 转换为负数 ；+x: 转换为数值 赋值操作符 ： =, +=, -=, *=, /=, %=, ^= ++, -- awk‘BEGIN{i=0;print ++i,i}’ awk‘BEGIN{i=0;print i++,i}’ 比较操作符：==, !=, >, >=, <, <= #awk -F: '$3==0' /etc/passwd //以:为分隔符打印第三列等于0的行 模式匹配符：~：左边是否和右边匹配包含 !~：是否不匹配 #awk '$0 ~ "^root"' /etc/passwd //在/etc/passwd文件中搜索所有以root开头的行 逻辑操作符:与&&，或||，非! #awk -F:'$3>=0&&$3<=1000{print $1}' /etc/passwf 打印uid大于等于0小于等于1000的用户名 #awk -F: '$3==0||$3>=1000{print$1}'/etc/passwd 打印uid等于0或者大于等于1000的用户名 #awk -F: '!($3==0){print $1}' /etc/passwd 打印uid不等于0的用户名 条件表达式（三目表达式）： selector?if-true-expression:if-false-expression AWK控制语句 {statements;…} 组合语句 1.条件语句if if(condition){ statement; statement; ……………. }; if(condition){ statement; statement; ……………. } else{ statement; //如果多个语句用{}括起来，就一条语句的话可以用不用{} statement; ……………. }; 使用场景：对awk取得的整行或某个字段做条件判断 示例： 2.while循环 ---条件为真进入循环，条件为假退出循环 while(condition){ ststement; ……………… } 使用场景:对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用 示例： length()字符的数量 linux16前面肯能有空格 #awk'/^[[:space:]]*linux16/{i=1;while(i<=NF) {print$i,length($i); i++}}' /etc/grub2.cfg #awk‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print$i,length($i)}; i++}}’ /etc/grub2.cfg 3.do-while循环------无论真假至少执行一次循环体$i打印第一列并打印长度换行 i++=2 do{ statement; ……….. }while(condition) 示例： #awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);printtotal}’ #awk'BEGIN{i=1;sum=0;while(i<=100){sum+=I;i++}print sum}'///打印1-100的和 4.for循环 for(expr1;expr2;expr3){ statement; ……………. } #awk 'BEGIN{for(i=1;i<=100;i++)sum+=i;print sum}' 常见用法: for(varible assignment;q){ for-body } 特殊用法:能够遍历数组中的元素 for(var in array){ for-body } 5.switch语句 switch(expression){ case value1: statement1; case value2: ststementt2; …… default: statementn } -----break和continue区别 break是结束整个循环体，continue是结束单次循环, 示例 next:提前结束对本行处理而直接进入下一行处理（awk自身循环） 示例： #awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd id如果是奇数 就不处理--打印偶数行的uid AWK数组 关联数组索引编号格式不是数字是自定义，普通数组下标都是数字 关联数组:array[index-expression] index-expression:可使用任意字符串；字符串要使用双引号括起来；如过某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串” 若要判断数组中是否存在某元素，要使用index in array 格式进行遍历 找到数组里的每一个元素 若要遍历数组中的每个元素，要使用for循环 for(var in array){ for-body } 示例: #weekdays["mon"]="Monday" #awk'BEGIN{weekdays["mon"]="Monday"; weekdays["tue"]="Tuesday";printweekdays["mon"]}‘ #awk '!arr[$0]++' 去除重复行 AWK函数 1.数值处理：rand():返回0和1之间的一个随机数 #awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 取整 #awk 'BEGIN{srand(); for(i=1;i<=10;i++)print rand() }' //生成十个随机数 2.字符串处理: length([s]):返回指定字符串的长度 sub(r,s,[t]):对t字符串进行搜索表示的模式匹配的内容，并将第一个匹配的内容替换为s gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容 split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第一个索引值为1,第二个索引值为2,… netstat -tan | awk'/^tcp\>/{split($5,ip,":");count[ip[1]]++} END{for (i in count) {print i,count[i]}}' 3.自定义函数 functionname ( parameter, parameter, ... ) { statements return expression } 三、练习
