awk使用技巧

awk是我们在linux系统中处理文本的一大利器，它可以简单而方便的帮我们完成很多工作。本篇主要记录一下awk的一部分使用技巧，并非是awk教程，所以如果你对awk并不了解的话，建议先阅读下awk的基本使用方法。
注: markdown没有bash高亮，所以注释我改用//来代替#

awk之常用内置变量

1. NR 当前行数，例如获取第34行数据 awk '{if(NR==34){print $0}}' ./file

awk之输入输出

1. 多输入文本处理

   经常会有这样的需求，需要用awk同时处理两个或多个文本，比如同时处理a和b两个文本，然后比较a和b中的差异或者b文件 处理过程中依赖a文件的一些内容，那么我们就需要同时传递多个文本到awk中，how to do that? 举栗如下：

   awk 'ARGIND==1{ 操作a文件 } ARGIND==2{ 操作b文件 }' a b
   //主要应用ARGIND,表示awk参数列表的序号(argv index),注意下标从1开始。
   

2. 外部参数传递

   在shell脚本中，有时候需要将awk之外的变量传递给awk内部使用,可以使用awk -v参数来绑定外部变量

   #!/bin/sh
   num=1
   awk -v in_num=$num '{ 外部变量num的值被赋到in_num,可以在awk内使用in_num }'
   

3. 外部函数调用

   抛开外部变量的使用，有时候，我们甚至需要直接调用外部函数来获取一个值，那么如何调用外部函数呢？

   #!/bin/sh
   function get_data() {
    echo $1"bean"
   }
   awk '{
    //定义调用外部函数的命令并在需要的情况下传参
    in_value="green";
    //引号比较多，其实就是按照awk拼接字符串的方式拼接参数
    cmd="get_data \""in_value"\"";
    //执行函数并通过getline获取输出赋值到output_value
    cmd | getline output_value;
    //注意关闭，否则会保留上次的执行结果
    close(cmd);
    print output_value;
   }' input_file
   

4. 输入输出分隔符指定

   对于分隔符的使用想必都不陌生，我们经常会用awk处理格式化的数据，简单说下分隔符的使用

   //常用的有两种方式
   //第一种 -F ，例如输入文本是逗号分隔的
   awk -F "," '{ 使用分割后的值$1$2... }' input_file
   //第二种 这里FS是输入分隔符 OFS是输出分隔符 可以不用OFS直接FS=","
   awk 'BEGIN{FS=OFS=","}{ 使用分割后的值$1$2... }' input_file
   //需要注意的是，当你在对分割后的变量做出修改后，再输出$0将没有分割符，所以需要你手动指定输出分割符
   //还有一种情况，假如我们需要多个分隔符怎么办，例如需要按逗号分隔并且也按竖杠分隔,可以如下标识，将分隔符写在[]内，像正则一样
   awk 'BEGIN{FS=OFS="[,|]"}{ 使用分割后的值$1$2... }' input_file
   //使用多分隔符后需要注意的是这时候如果指定OFS=FS的话，那么输出$0的时候将包含多个分隔符，建议单独指定OFS的值。
   

awk之字符串

1. 字符串长度

   //字符串的长度调用内置函数即可
   awk '{
    data="bean"
    char_count=length(data);
   }' input_file
   

2. 字符串截取

   //字符串的截取同样调用函数即可
   //substr函数第一个是被截取字符串，第二个是起始位置，从1开始，第三个是截取长度
   awk '{
    data="bean"
    char_second=substr(data,2,1);
   }' input_file
   

3. 字符串替换

   字符串替换是一个比较常用的功能，经常在使用分隔变量前对数据进行预处理，这里举一个全局替换的例子

   //例如文件中的时间字段为2019-10-07 20:22:10 我们希望保留纯数字格式为20191007202210，这时候就可以用字符串替换
   awk '{
    //使用gsub进行替换，第一个参数是匹配替换字符的正则表达式，第二个是替换成什么样的字符，这里的例子是去除，所以填了空字符，第三个参数是待替换的字符串
    //正则里包含 "-" ":" "空格" 三种替换符号
    gsub(/[-: ]/,"",overtime);
   }' input_file
   

4.正则匹配
进行字符串比较判断时，通常正则是一个比较方便的方式，接下来我们说一下awk的正则表达匹配。

//首先说明awk正则匹配的运算符是：
~  表示匹配
~！表示不匹配
//并且正则表达式位于//之间
//例如:
echo aabbcc112233 | awk '{if($1 ~ /^aab+/){print "ok"}}'
//输出：
ok
//awk支持的元字符
^ $ . [ ] | ( ) * + ?

awk之数组

1. 数组定义

   //数组定义比较简单，直接定义就可,awk中的数组键值可以是数字也可以是字符串
   awk '{ 
    data[0]=111;
    data[name]=222;
    print data[name];
   }' input_file
   //有一个常见的需求是读取文件中的数据并将某个字段设为键，某个字段设为值，然后生成一个数组供下一步使用，可以这样使用
   awk '
   ARGIND==1{
    //用分割字段指定键值
    data[$1]=$2;
   }
   ARGIND==2{
    some_value=data[some_key]
   }' input_config input_file
   

2. 数组键值包含

   对于数组，经常还会判断数组中是否存在某个键，例如用来判断一个文件是否包含另一个文件的时候，会把一个文件中的值存成数组然后去比较键是否存在

   awk '
   ARGIND==1{
    data[$1]=$2;
   }
   ARGIND==2{
    //在这里进行比较判断
    mobile=123
    if(mobile in data) {
        //如果mobile存在于data的键中，则if成立
    }
   }' input_config input_file