简明awk实战演练

简明awk实战演练

1  awk是什么？

  AWK is a programming language designed for text processing and typically used as a data 
extraction and reporting tool. It is a standard feature of most Unix-like operating systems.
                                                                       from AWK - Wikipedia
  awk是一门编程语言，主要大量应用类unix系统中。它可以对文本以及标准输入的内容进行处理，处理完后可以
通过一定的格式输出。不同于grep，awk不仅仅可以行处理，也可以列处理；不仅仅支持程序语句，也支持数组。
awk功能非常强大，如果你想把shell编程玩的非常好的话，awk是你必须要掌握的一门编程语言。

   

     2 awk的工作原理

  工作流程：[ BEGIN{actions} ]-->输入数据流-->[ pattern'{actions}' ]-->[ END{actions}] 
    注：[ ]表示[]内的内容是可选的。
    awk的执行步骤	
	第一步：执行BEGIN{actions}语句块中的语句
	第二步：awk从文件或者标准输入中读取一行，然后执行pattern{actions}语句块。它逐行扫描文件，先
读取行，再执行语句块，一直循环这个过程，直到所有的行被读取完成。
	第三步：输入流被读读取完成后，执行END{actions}语句块

	[ BEGIN{actions} ]，见名知意，输入流数据开始之前要执行的语句块。此语句块是可选的。在文本未读
取之前执行的操作，你可以在这个语句块定义变量的初始值，打印一些信息等等。

	END{actions}，见名知意，输入流数据结束之后执行的语句块。它也是一个可选项。一般在这里可以放置
分析结果的汇总信息。

	[ pattern'{actions}'，见名知意，对输入流数据执行模式匹配并且语句块操作。你可以把这两者合并理
解为程序，即对输入流数据进行处理程序。它也是一个可选项。这部分是awk语句中核心的内容，默认是执行打印操
作（打印行所有的内容）。

  awk使用的基本格式：
    awk [options] [BEGIN{actions}] [ pattern'{actions}' ] [ END{actions} ] file
    可以看出awk由四大部分 option选项、BEGIN语句块、模式匹配的语句块、END语句块。需要注意的是 
[ pattern'{actions}'中的语句块，通常被单引号括起来。

  awk支持的功能：
    1.支持自定义变量以及包含非常强大的内置变量
        可以使用选项-v自定义变量，也可以在三大语句块中定义变量，不过awk其内置的变量相当强大，可以帮助
awk实现字段分隔（FS），字段数量的统计(NF)，行号标记(NR)，字段内容处理（$0,$1,$2...）。$0表示所有字段
的内容,$1表示第一个字段的内容，$2表示第二个字段的内容。另外FS英文field of separator 的意思，字段分隔
符的意思，而NF则为number of field是字段数量的意思，统计的是每行字段数的个数，NR则为number of record，
是行数的意思。大家对于内置变量没必要死记硬背，用到的时候查询官方文档即可。
    2.支持打印功能		
	通过print或者printf可以将输入流数据打印。通过我们用它打印我们需要的字段的信息，而不是整行的信
息。如果你想美观的输出信息，可以使用printf，printf为格式化输出命令，支持很多的格式符，格式符基本也与c
语言中的格式符相同。
    3.支持各种操作符
	算术操作符。即加减乘除等符号。+ - * /
	赋值操作符。即= += -= *= /= ++ --等等
	比较操作符。即== >= <= !=等等
    4.支持模式匹配
        这个相当重要。我们可以自己决定匹配的模式，从而打印出我们认为重要的信息。
	4.1支持正则表达式的模式匹配：/(此处正则表达式)/
	4.2支持关系表达式：即结果为真，就处理；否则，就不处理。
	4.3支持行范围匹配：/part1/，/part2/ part1，part2为你自定义的行匹配的模式
	4.4支持模式匹配符~。表示左边的内容是否被右边所匹配。
    5.支持逻辑操作符。即&& || ! 与或非。
    6.支持BEGIN/END模式。可以在输入流数据开始前或结束后执行操作。
    7.支持编程语句(if，while，for，switch，break，continue，next)
        这也是awk真正强大的地方，也是它可以被称为一门独立的编程语言的基础。我们可以在语句块，编写自己
需要的程序，去筛选我们需要的信息。
    8.支持数组，函数
        和一般的编程语言一样，也支持数组，函数。数组在awk中应用相当强大。

3 awk实战演练(由易到难)

  3.1 演示知识点：awk支持管道标准输入，自定义变量，打印功能
    ：注意：awk中引用自定义变量不需要加$符号
    [root@big ~]#echo | awk '{var1="v1";var2="v2";var3="v3"} {print var1,var2,var3}'
    v1 v2 v3

  3.2 演示知识点：内置变量$1,$2...,打印字段内容				
    [root@big ~]#cat file
    one two three
    one two three
    one two three
    one two three

    打印行中的第二以及第三个字段
    [root@big ~]#awk '{print $2,$3}' file
    two three
    two three
    two three

  3.3 演示知识点：支持BEGIN/END模式
    [root@big ~]#echo -e "line1\nlien2" | awk 'BEGIN{print "start"} {print} END{print "END"}'
    start
    line1
    lien2
    END

    在执行输入流数据处理前打印字符串，
    在执行输入流数据处理后打印字符串

  3.4 演示知识点：特殊内置变量：NR，NF，$1,$2...
    [root@big ~]#echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | awk '{print "Line no:"NR",
No of fileds:"NF, "$0="$0,"$1="$1,"$2="$2,"$3="$3}'
    Line no:1,No of fileds:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3
    Line no:2,No of fileds:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5
    Line no:3,No of fileds:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7

    NR:行号
    NF：当前行的字段数
    $1:所在行的第一个字段的内容
    $2:所在行的第二个字段的内容
    $2:所在行的第三个字段的内容

  3.5 演示知识点：选项-F(自定义字段分隔符)
    awk -F: '{print $1,$3}' /etc/passwd
    [root@big 0520]#awk -F: '{print $1,$3}' /etc/passwd 
    root 0
    bin 1
    daemon 2
    adm 3
    lp 4
    sync 5
    shutdown 6
    halt 7
    ...

  3.6 演示知识点：选项-V重复使用,内置变量FS，OFS
    [root@big 0520]#awk -v FS=":" -v OFS="###" '{print $1,$3}' /etc/passwd
    root###0
    bin###1
    daemon###2
    adm###3
    lp###4
    sync###5
    shutdown###6
    halt###7

    选项-V重复使用,可以定义多个变量
    FS：自定义输入字段分隔符
    OFS：自定义输出字段符
    此演示案例：将输入分隔符：换为###

  3.7 演示知识点：printf格式化输出
    awk -F: '{printf "username:%-10s UID:%d\n",$1,$3}' /etc/passwd
    [root@big 0520]# awk -F: '{printf "username:%-10s UID:%d\n",$1,$3}' /etc/passwd
    username:root       UID:0
    username:bin        UID:1
    username:daemon     UID:2
    username:adm        UID:3
    username:lp         UID:4
    username:sync       UID:5
    username:shutdown   UID:6
    username:halt       UID:7
    username:mail       UID:8
  3.8 演示知识点：综合应用，模式匹配，split函数，语句
    [root@big 0520]#netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in
count){print i,count[i]}}'
    10.0.0.1 1
    0.0.0.0 5

4 awk总结

  本文主要介绍awk的简介，awk的基本原理以及awk的大量实战演练。
  awk支持的功能非常多，非常复杂。我们需要通过大量的练习，才能够真正熟练操作awk编程。多多练习，必将玩转
awk编程。

  时间：2017/05/21 
  作者: Michael