程序员的AWK日常使用

介绍

AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。

GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。

用途

AWK在程序员的日常工作中有以下几种用途

1、文本处理(从日志中筛选有用的记录,根据条件进行统计,字符串操作)

2、输出格式化的文本报表(根据想要的格式输出日志等文件,转成SQL进行存储)

3、执行算数运算(对日志等格式化文件中的记录数据进行各种计算)

使用

一、语法

AWK语言结构由三部分组成(BEGIN语句块,body语句块,END语句块)

实例:awk 'BEGIN{printf "first row content" } {print "body"} END{print "last row content"}'

说明:①BEGIN语句块最先执行且只执行1次,BEGIN必须大写,BEGIN语句块可以省略

②body部分的语句会对应用到文件或者输入内容的每一样内容,逐行执行,直到文件结束

③END语句块最后执行,可以做一些统计输出之类的功能,此语句块也是可省略的

二、执行方式

① 命令行直接写awk语句执行 如:awk 'BEGIN{printf "first row content" } {print "body"}  END{print "last row content"}  awk.txt'

② 将程序写入 .awk 文件中执行 如:awk -f command.awk awk.txt

三、常用语法

① 指定分隔符

默认以空格为字段之间的分隔符,也可以进行指定: 

指定单个分隔符  awk -F "@" 指定@为分隔符

指定多个个分隔符  awk -F "[@ \t]" 指定@或空格或TAB为分隔符(存在多个分隔符时同时生效)

awk文件内指定分隔符 awk 'BEGIN{FS="@"} {print} END{print "end"}' 

② 字符串拼接

通常:用双引号与字段拼接 例如:awk '{print $1 "*" $2}' output.txt(*代表拼接的内容)

例外:拼接单引号或双引号 awk '{print $1 "*'\''" $2}' 或 awk '{print $1 "*\"" $2}'

③ 输出指定列

例子:awk '{print $1 "*" $2}' output.txt (说明:$1代表依据分隔符分割之后第一列,以此类推,而且打印顺序可以随意摆放)

④ 流程控制(if else)

程序员的AWK日常使用_第1张图片
实例
程序员的AWK日常使用_第2张图片

⑤ 循环

程序员的AWK日常使用_第3张图片

四、内建函数

① 算数函数

程序员的AWK日常使用_第4张图片
内建算数函数

举例说明:

[chengmo@centos5 ~]$ awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}'

0.841 22026.466 2.303 3

OFMT 设置输出数据格式是保留3位小数

获得随机数:

[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

② 字符串函数

程序员的AWK日常使用_第5张图片
字符串内建函数

例子:root@homestead:/home/www# awk -F "[ ,]" '{print length($1)}' output.txt

③ 时间函数

systime

mktime(datespec)

strftime([format [, timestamp[, utc-flag]]])

例子:awk -F "[ ,]" '{print length($1) "time: " strftime("%Y-%m-%d",systime())}' output.txt

五、输出重定向

程序员的AWK日常使用_第6张图片
输出重定向

例子:awk '{print length($1) "  time: " strftime("%Y-%m-%d",systime()) > "a.txt"}' output.txt

六、正则表达式

① 在命令行对文件每一行进行正则匹配

程序员的AWK日常使用_第7张图片
命令行正则匹配

② 利用函数对具体字符串进行处理 

gsub(regex, sub, string)

match(str, regex)

split(str, arr, regex)

sub(regex, sub, string)


总结:awk在日常开发中会为程序员省掉很多时间,比如日志统计、筛选,将有格式的文件入库等操作,当然awk作为一门简单的工具语言还有更强大的功能,这里就不一一介绍了

更多语法特性请参考:http://mp.weixin.qq.com/s/X0ire4dYiceC2CzPU6JsSw

你可能感兴趣的:(程序员的AWK日常使用)