awk进阶详解

    文本三工具grep sed awk
    grep  egrep  fgrep 文本过滤
    sed  行编辑器
        模式空间、保持空间
    awk 报告生成器，格式化文本输出

    AKW: Aho,Weinberger,Kernighan  这个工具的三个人的作者
            1970s出现的-->New AWK ,NAWK

    
    linux上用的是GNU awk 简称为gawk
    
gwak -pattern scanning and processing language

处理：一次读取一行文本，根据指明的输入分隔符切割为n个组成部分；内
建变量$1...$n   显示整行片段为$0

基本用法：gawk  [options]  'program'  FILE1 [FILE...n]

    program:  PATTREN{ACTION STATEMENTs}

        语句之间用;分隔

选项 
 -F ""指明字段分隔符
 -v  var=value :自定义变量
 

1、print 
  

    print item1,item2,...
例如  awk '{print $1,$2}'  以默认空格为分割字段显示$1  $2
不写，的话会连接显示 $1$2
（1）都号分隔符
（2）输出的item可以是字符串，数值，当前记录的子段、变量或awk表达式
字符串连接时  '{print "hello:" $1}' 加入字符  ""里面的东西不会改变，
因此$1不能在""里面
（3）省略item，就相当于print $0  打印整行

2、变量
  1 内建变量
    FS：input  filed seperator,默认为空白字符
    OFS：output filed seperator,默认为空白字符
    RS: 输入时的换行符
    ORS：输出时的换行符    
    NF：显示行的字段数
这个时候如果打印$NF 是打印每行字段的最后一个字段
因为你统计了每行的字段
{print NF}  {print NR}
因此打印变量不要加$

    NR：统计文件的行数
    FNR：每个文件单独计数行数  {print FNR}  file1 file2 ..
    FILENAME：当前正在处理的文件名  
如果直接打印，是每处理一行就会显示一次文件名
可以用 'BEGIN{print FILENAME}' 显示一次

    ARGC：命令行参数的个数
    ARGV：数组，保存的是命令行中所给定的各参数
例如  awk 'BEGIN{print ARGV[0] ARGV[1] ARGV[2] ARGC}' file1 file2
就会显示  awk  file1  file2  3  三个参数和总计的参数量

例如
eg1: awk -v FS=':' '{print $1}'  /etc/passwd
     等于awk -F: '{print $1}'  /etc/passwd

eg2:定义输出分隔符
  awk -v FS=':' -v OFS=':'  '{print $1}'  /etc/passwd
输出也打印为分割符为：

eg3  -v RS=' '  把空白字符全部当做换行符
    -v ORS='#'  #作为输出的换行

 2 自定义变量
    -v  var=value
    变量名区分大小写、引用变量不需要$

如果不对文件做处理，必须'BEGIN{}'  而不是在处理文件过程中，就不用加文件名称了

 3printf 命令

 格式化输出：printf FORMAT, item1 ....

    （1）FORMAT必须给出
    （2）printf不会自动换行，需要显式给出\n
    （3）FORMAT中需要分别为后面的每个item指定一个格式化符号
    格式符
    %c 显式字符的ASCII码
    %d,%i 显式为十进制，整数
    %e,%E 显式为科学计数法
    %f 显式为浮点数
    %g,%G以科学计数法，浮点形式显式数值
    %s显式字符串
    %u 无符号整数
    %% 显式% 本身

例如 awk -F: '{printf "Username: $s\n",$1}'  /etc/passwd
类似C语言版的输出

awk -F: '{printf "Username: $s， UID：%d\n",$1,$3}'  /etc/passwd

    修饰符
    #[.#]: 第一个#控制显示的宽度，第二个#控制小数的精度可以不加
        %3.1f

awk -F: '{printf "Username: $15s， UID：%8d\n",$1,$3}'  /etc/passwd

默认为右对齐显示   
    -为左对齐
awk -F: '{printf "Username: $-15s， UID：%8d\n",$1,$3}'  /etc/passwd
        %-15s 左对齐
    -左对齐
    +显示数值的符号

 4操作符

   算数操作符：
    x-+\*^%
    -x 负值
    +x 转换为数值

   字符串操作符：没有符号的操作符，字符串连接

   赋值操作符
    =,+=,-=,*=,%=,^=,\=
    ++,--

   比较操作符
    < > >=  <= == != 

   模式匹配符
    
    ~  是否匹配   
    !~是否不匹配

   逻辑操作符
    && ||  
    ！
   函数调用
    function_name(argu1,argu2, ...)

   条件表达式
    selector?if-true-expression:if-false-expression
    1?2:3
    1对执行2，不对执行3
    
   eg:  awk -F: '{$3>=1000?usertype="common":usertype="sys";printf
 "%15s:%-s\n",$1,usertype}'  /etc/passwd

 5 PATTERN

   （1） empty:空模式，匹配每一行
   （2）/regular expression/  :仅处理能被此处模式匹配到的行（过滤）
eg1:  awk '/^UUID/{print $1}'  /etc/fstab
仅显示开头为UUID 的行
 awk '!/^UUID/{print $1}'  /etc/fstab
加！对整个过滤模式取反

正则表达式

   （3）relational expression:关系表达式：如果有“真”有“假”；结果为真才被处理
    真：结果为非0值，非空字符串
eg： awk -F: '$3>=1000{prinf $1,$3}' /etc/passwd

awk -F: '$NF=="/bin/bash"{print $1,$NF}'  /etc/passwd
打印最后一个字段为/bin/bash的行

   （4）line ranges：行范围，
    startline,endline （地址定界） /pat1/ /pat2/
    
    注意：不支持直接给出数字的格式
    awk -F: '(NR>=2&&NR<=10){print $1}'  /etc/passwd
   （5）BEGIN/END模式
    BEGIN{} 在开始处理文件中的文本之前执行一次
    END{}在文本处理完成之后执行一次
    

6常用的action

 （1）表达式Expressions
 （2）控制语句
 （3）组合语句
 （4）输入语句
 （5）输出语句

7控制语句
  
  if(confition) {statements}
  if(confition) {statements} else {statements}
    ...
    ...

 7.1  if-else
   语法： if(conditon) statement [else statement]

   awk -F: '{if($3>=1000) print $1,$3}'  /etc/passwd

   awk -F: '{if($3>=1000) {print $1,$3} else {print $1,$3}}'  /etc/passwd

   df -h|awk -F[%]  '{print $5}' |awk '{print $NF}'
   显示最后一个字段

    
   df -h|awk -F[%]  '/^\/dev/{print $5}' |awk '{print $NF}'
   \/转义    以/dev开头的行

   7.2while循环
      语法：while(conditon)  statement
    条件“真”，进入循环；条件“假”，退出循环

    使用场景：对一行内的多个字段逐一类似处理时使用；对数组元素逐一处理

    awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i);i++}}'  /etc/grub2.cfg
         统计字段

    
    awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7){print $i,length($i)};i++}}'  /etc/grub2.cfg
         统计字段
    

  7.3 do-while循环
    do statement  while(condition)
    至少执行一次循环体

  7.4for循环
      语法：for(expr1;expr2;expr3) statement

    for(variable assignment;condition;iteration process)  {for-body}

    
  7.5 switch语句
     语法：switch(expression)

    switch(expression){
    case VALUE1 or /REGEXP/
    statement;
    case 2
    ...    
    default:statement
    }

  7.6 break  continue
    break [n]
    continue
  7.7next
    提前结束对本行的处理而直接进入下一行

  awk -F: '{if($3%2!=0) next; print $1,$3}'  /etc/passwd

 8array
    关联数组array[index-expression]

    index-expression
    （1）可使用任意字符串
    （2）如果某数组元素事先不存在，在引用时awk会自动创建此元素，并且初始化为
“空串”
    

    要判断数组中是否存在某元素，要使用“index in array”格式进行

    weekdays["mon"]="Monday"  引用元素不要加$
    要使用双引号

eg:  awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]=Tuesday;print weekdays["mon"]}'

    遍历数组中每个元素
    for(var in array) {for-body}

    var会遍历array的每个索引

netstat -tan |awk '/^tcp\>/{state[$NF]++}END{for(i in state) {print i,state[i]}}'

其中  state[$NF]++表示 索引数组的自增
结果为  
Listen  3
Establish  3
用于统计服务很给力

awk '{ip[$1]++}END{for (i in ip) {print i,ip[i]}}'  /var/log/httpd/access_log
这就是所谓的报告生成器

例题：
1统计/etc/fstab中每个文件系统类型出现的次数
awk '/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}'  /etc/fstab

    
2统计指定文件中每个单词出现的次数

行内字段遍历

awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for (i in count) {print i,count[i]}}'  /etc/fstab

9函数
  9.1内置函数
    数值处理
    rand()  返回0-1之间一个随机数

    字符串处理
    length([s])  返回指定字符串的长度
    sub(r,s,[t])  r表示模式来查找t所表示的字符串中的匹配的内容，并将其第一次出现替换为s
    gsub(r,s,[t])  全局替换
    
    split(s,a,[r]) 以r为分隔符切割字符s,并将切割后的结果保存至a所表示的数组中。数组从1标号
例如  netstat -tan |awk '/^tcp\>/{split($5,ip,":");print ip[1]}'   打印每一行的ip    

netstat -tan |
awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'
统计ip次数

  9.2自定义函数