awk命令详解

背景

• AWK是一种处理文本文件的语言，是一个强大的文本分析工具

awk的基本用法

文本内容：

2 this is a test
3 Are you like awk
This's a test10
There are orange,apple,mongo

• 用法一：

  awk '{[pattern] action}' {filenames} #行匹配语句 awk 只能用单引号

  示例：awk '{print $1,$4}' log.txt

  2 a
  3 like
  This's
  10 orange,apple,mongo

• 用法二：

  awk -F #-F相当于内置变量FS, 指定分割字符

  示例： awk -F, '{print $1,$2}' log.txt

  2 this is a test
  3 Are you like awk
  This's a test
  10 There are orange apple

• 用法三：

  awk -v #设置变量

  示例： awk -va=1 '{print $1,$1+a}' log.txt

  2 3
  3 4
  This's 1
  10 11

awk內建变量

变量	描述
$n	当前记录的第n个字段，字段间由FS分隔
$0	完整的输入记录
ARGC	命令行参数的数目
ARGIND	命令行中当前文件的位置(从0开始算)
ARGV	包含命令行参数的数组
CONVFMT	数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO	最后一个系统错误的描述
FIELDWIDTHS	字段宽度列表(用空格键分隔)
FILENAME	当前文件名
FNR 同NR，	但相对于当前文件
FS	字段分隔符(默认是任何空格)
IGNORECASE	如果为真，则进行忽略大小写的匹配
NF	当前记录中的字段数
NR	当前记录数
OFMT	数字的输出格式(默认值是%.6g)
OFS	输出字段分隔符(默认值是一个空格)
ORS	输出记录分隔符(默认值是一个换行符)
RLENGTH	由match函数所匹配的字符串的长度
RS	记录分隔符(默认是一个换行符)
RSTART	由match函数所匹配的字符串的第一个位置
SUBSEP	数组下标分隔符(默认值是/034)

正则表达式

~ 表示模式开始， / /符号中为模式。

awk '/re/ ' log.txt
awk '$2 ~ /th/ {print $2,$4}' log.txt

awk脚本

• BEGIN{这里面放的是执行前的语句}
• END{这里面放的是处理完所有的行后要执行的语句}
• {这里面放的是处理每一行时要执行的语句}

#!/bin/awk -f
#运行前
BEGIN { 
      math = 0 
      english = 0 
      computer = 0 
      printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n" 
      printf "---------------------------------------------\n"
}
#运行中
{ 
      math+=$3 
      english+=$4 
      computer+=$5 
      printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END { 
      printf "---------------------------------------------\n"   
      printf " TOTAL:%10d %8d %8d \n", math, english, computer 
      printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

awk使用原理

• awk每次处理一行字符（通过文件或管道），并将这一行赋给内部的$0变量，默认一行字符以换行符结束。
• 每行数据默认被空格分解成字段（通过内部定义FS变量来获取分隔符），每个字段存储在已经编好的变量中，从$1开始，可以多达100个字段。
• awk输出时，逗号会被空格替换，改空格保存在OFS变量中（输出字段分隔符）。