awk命令的使用

1.概念:

  • awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具

  • awk是一种处理文本数据的编程语言。awk的设计使得它非常适合于处理由行和列组成的文本数据

  • awk程序可以读取文本文件,对数据进行排序,对其中的数值执行计算以及生成报表

2.awk的工作流程:

  • awk命令的基本语法如下:

    awk 'pattern {actions}'
    参数 说明
    -F 指定分隔符
    -f 调用脚本
    -v 定义变量
    ' '中的特字符 说明
    BEGIN 初始化代码块
    {} 命令代码块
    ; 多条命令使用分号分隔
    END END

  • 在上面的语法中,pattern表示匹配模式,actions表示要执行的操作

  • 当某个文本行符合pattern指定的匹配规则时,执行actions所执行的操作

  • 在上面的语法中,pattern和actions都是可选的,但是两者必须保证至少有一个。

    • 如果省略匹配模式pattern,则表示对所有的文本行执行actions所表示的操作;

    • 如果省略actions,则表示将匹配成功的行输出到屏幕。

  • 在awk处理数据时,它会反复执行以下4个步骤:

    1. 自动从指定的数据文件中读取行文本。

    2. 自动更新awk的内置系统变量的值,例如列数变量NF、行数变量NR、行变量$0以及各个列变量$1、$2等等。

    3. 依次执行程序中所有的匹配模式及其操作。

    4. 当执行完程序中所有的匹配模式及其操作之后,如果数据文件中仍然还有未读取的数据行,则返回到第(1)步,重复执行(1)~(4)的操作。

3.awk程序执行方式:

  • 通过命令行执行awk程序,语法如下:

    awk 'program-text' [要处理的文本文件]
    例:awk '{print $0}' /etc/passwd
  • 执行awk脚本

    awk -f [脚本名] [要处理的文本文件]
  • 可执行脚本文件

    #!/bin/awk -f
    # 以上语句必须位于脚本文件的第一行。然后用户就可以通过以下命令执行awk程序:
    awk-script file
    # 其中,awk-script为awk脚本文件名称,file为要处理的文本数据文件。

4.awk的输出:

  • print的使用格式:

    # 使用逗号隔开,表示不同内容
    # 输出的item可以为字符串或数值、当前记录的字段(如$1)、变量或awk的表达式;数值会先转换为字符串,而后再输出;
    # print命令后面的item可以省略,此时其功能相当于print $0
  • printf命令的使用格式:实现字符串的格式化

    printf(format, [arguments])
    # format是一个用来描述输出格式的字符串
    # arguments为一个参数列表,表示用来显示的数据,可以是变量名等,多个参数之间用逗号隔开
    # printf语句不会自动打印换行符
    format格式的指示符 说明 format格式的指示符 说明
    %c 显示字符的ASCII码 %d, %i 十进制整数
    %f 显示浮点数 %e, %E 科学计数法显示数值
    %s 显示字符串 %g, %G 以科学计数法的格式或浮点数的格式显示数值
    %u 无符号整数 %% 显示%自身;
    N 显示宽度 - 左对齐
    + 显示数值符号

  • 输出重定向:

    print items > output-file
    print items >> output-file
    print items | command

5.awk的变量:

  • awk的变量名只能包括字母、数字和下划线,并且不能以数字开头。

  • awk内置变量

    变量 说明
    $0 记录变量,表示当前正在处理的记录
    $n 字段变量,其中n为整数,且n大于1。表示第n个字段的值
    NF 整数值,表示当前记录(变量$0所代表的记录)的字段数,如:'how they are',NF=3
    NR 整数值,表示awk已经读入的记录数;如果有多个文件,这个数目会把处理的多个文件中行统一计数。(显示的是文件的每一行的行号)
    FNR 与NR不同的是,FNR用于记录正处理的行是当前这一文件中被总共处理的行数;
    FILENAME 表示正在处理的数据文件的名称
    FS 输入字段分隔符,默认值是空格或者制表符,可使用-F指定分隔符
    OFS 输出字段分隔符 ,OFS=”#”指定输出分割符为#。
    RS 记录分隔符,默认值是换行符 \n
    ENVIRON 当前shell环境变量及其值的关联数组;
    [root@quruixiang ~]# echo -e "1 2 3\n4 5 6" | awk '{print $0}'
    1 2 3
    4 5 6
    [root@quruixiang ~]# echo -e "1 2 3\n4 5 6" | awk '{print $1}'
    1
    4
    [root@quruixiang ~]# echo -e "1 2 3\n4 5 6" | awk '{print NF}'
    3
    3
    [root@quruixiang ~]# awk '{print FILENAME}' /etc/passwd
  • 用户自定义变量:

    • 在awk中给变量赋值使用赋值语句进行

      [root@localhost ~]# awk 'BEGIN{test="hello";print test}'
      hello
    • 在命令行中使用赋值变量

      [root@localhost ~]# awk -v test="hello" 'BEGIN {print test}'
      hello

6.操作符:

  • awk是一种编程语言环境,因此,它也支持常用的运算符以及表达式,例如算术运算、逻辑运算以及关系运算等。

  • awk支持常用的算术运算,这一点与其他的程序设计语言基本相同。

    运算符 说明 举例
    + 加法运算 1+2表示计算1和2的和
    - 减法运算 82-2表示计算82和2的差
    * 乘法运算 2*5表示计算2和5的积
    / 除法运算 6/3表示计算6和2的商
    % 求模运算 5/2表示计算5除以2的余数
    ^ 指数运算 2^3表示计算2的3次方
    [root@localhost ~]# awk 'BEGIN{x=2;y=3;print x**y,x^y,x*y,x/y,x+y,x-y,x%y}'
    8 8 6 0.666667 5 -1 2
    [root@localhost ~]# awk '{max=$1>$2?$1:$2;print NR,"max=",max}' file
    1 max= 6
    2 max= 10
    3 max= 3
  • 关系运算符:

    运算符 说明 举例
    ~ 匹配运算符 $1 ~ /^T/表示匹配第一个字段以字符T开头的记录
    !~ 不匹配运算符 $1 !~ /a/表示匹配第一个字段不含有字符a的记录
    [root@localhost test11]# awk '$1~/^w/ {print}' file
    wangmei 70

7.awk的模式:

  • awk的基本语法:

    awk [options] 'PATTERN { action }' file1 file2, ...
  • 在awk中,匹配模式处于非常重要的地位,它决定着匹配模式后面的操作会影响到哪些文本行

  • awk中的匹配模式主要包括关系表达式、正则表达式、混合模式,BEGIN模式以及END模式等。

  • 关系表达式:

    [root@localhost test11]# awk '$2 > 80 {print}' file
    zhangsan 90
    lisi 81
  • 正则表达式:

    [root@localhost test11]# awk '/^l|z/{print}' file
    liming 80
    zhangsan 90
    lisi 81
  • 混合模式:

    [root@localhost test11]# awk '/^l/ && $2>80 {print}' file
    lisi 81
  • 区间模式:

    [root@localhost test11]# awk '/^liming/,$2==90 {print}' file
    liming 80
    wangmei 70
    zhangsan 90
  • BEGIN模式:

    # BEGIN模式是一种特殊的内置模式,只执行一次并且执行在主体代码块和读取数据之前
    # 可以抛开文件单独执行,结果类似于echo而END不可以
  • END模式:

    # END模式是awk的另外一种特殊模式,只执行一次并且执行在主体代码块和读取数据之后
    [root@quruixiang logs]# awk '{nums[$1]+=1;} END{for(i in nums){print nums[i],i}}' access_log

8.awk控制语句:

  • if语句的功能是根据用户指定的条件来决定执行程序的哪个分支,其语法如下:

    if (expression) {
     statement1
     statement2
    }else{
     statement3
     statement4
    }
  • swith语句:

    swith(data){
        case value1: statement1
        case value2: statement2
        default: statement3
    }
  • while语句是另外一种常用的循环结构,其语法如下:

    [root@quruixiang ~]# echo " " | awk 'BEGIN{i=1;while(i<11){print i;i++}}'
  • awk还支持另外一种while循环语句,其语法如下:

    [root@quruixiang ~]# echo " " | awk 'BEGIN{i=1;do{print i;i++}while(i<11)}'
  • for循环语句通常用在循环次数已知的场合中,其语法如下:

    [root@quruixiang ~]# echo " " | awk 'BEGIN{for(i=1;i<11;i++){print i}}'
    # 分析httpd的access_log 1)获取访问前10位的ip地址
    awk '{nums[$1]+=1;} END{for(i in nums){print nums[i],i}}' access_log

  • break语句和continue语句

    [root@quruixiang ~]# echo "" | awk 'BEGIN{for(i=1;i<11;i++){if(i==5){continue}else{print i}}}'
  • next语句(java中的return)

    # 如果遇到next语句,则提前结束对本行文本的处理,awk会继续读取下一行数据,并且从第一个模式及其操作开始执行。
    ​
  • exit语句,exit语句的功能是终止awk程序的执行

10.awk内置函数:

  • split(string, array [, fieldsep [, seps ] ]):

    # 将string表示的字符串以fieldsep为分隔符进行分隔,并将分隔后的结果保存至array为名的数组中;数组下标为从1开始的序列;
  • length([string])

    # 功能:返回string字符串中字符的个数;
  • substr(string, start [, length])

    # 功能:取string字符串中的子串,从start开始,取length个;start从1开始计数;
  • system(command)

    # 功能:执行系统command并将结果返回至awk命令
  • systime()

    # 功能:取系统当前时间
  • tolower(s)

    # 功能:将s中的所有字母转为小写
  • toupper(s)

    # 功能:将s中的所有字母转为大写

11.awk案例:

  • 获取当前内存的内存总容量

    awk '/^MemTotal:/ {print $2}' /proc/meminfo

你可能感兴趣的:(Linux操作系统,linux,服务器,运维,linux三剑客,awk编程)