Linux三剑客之awk命令详解

目录

一、awk常见用法

二、案例

        2.1、awk中-F的使用

        2.2、awk中几个特殊的内部变量

        用法：

 三、实战案例

---

一、awk常见用法

        通常情况下awk所使用的命令格式如下，其中，单引号家伙是那个大括号“{ }”用于设置对于数据进行的处理动作。awk可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。

awk 选项 '模式或条件{编辑指令}' 文件1 文件2  #过滤并输出文件中符合条件的内容

awk -f 脚本文件 文件1 文件2  #从脚本中调用编辑指令，过滤并输出内容

        它与sed命令有一些不同，sed常用于一整行的处理，二awk比较倾向于将一行分成多个“字段”然后再进行处理，awk命令的过程中，可用使用逻辑操作符“&&”表示“与”、“||”表示“或”、“！”表示“非”；还可以进行简单的数学运算。

二、案例

        2.1、awk中-F的使用

cat /etc/passwd | awk -F ".' "{print $1,$3,$4}''

#以":"为分隔符，输出1，3，4列内容

         awk 从输入文件或者标准输入中读入信息，与 sed 一样，信息的读入也是逐行读取的。 不同的是 awk 将文本文件中的一行视为一个记录，而将一行中的某一部分（列）作为记录 中的一个字段（域）。为了操作这些不同的字段，awk 借用 shell 中类似于位置变量的方法， 用$1、$2、$3…顺序地表示行（记录）中的不同字段。另外 awk 用$0 表示整个行（记录）。 不同的字段之间是通过指定的字符分隔。awk 默认的分隔符是空格。awk 允许在命令行中 用“-F 分隔符”的形式来指定分隔符。

        2.2、awk中几个特殊的内部变量

FS：指定每行文本的字段分隔符，默认为空格或制表位。 与-F一样
NF：当前处理的行的字段个数。 
NR：当前处理的行的行号（序数）。 
$0：当前处理的行的整行内容。 
$n：当前处理行的第 n 个字段（第 n 列）。 
FILENAME：被处理的文件名。
RS：数据记录分隔，默认为\n，即每行为一条记录。 

        用法：

cat /etc/passwd | awk '{print}'  #输出所有内容  或者  '{print $0}'

cat /etc/passwd | awk 'NR==1,NR==3{print}' #输出第1~3行内容 

cat /etc/passwd | awk '(NR<=3)$$(NR>=1){print}'

  

 cat /etc/passwd | awk 'NR==1||NR==3{print}' #输出1、3行的内容

nl /etc/passwd | awk '(NR%2)==1{print}'  #输出奇数行（为了更好的可视化，这里用nl）

 nl /etc/passwd | awk '(NR%2)==0{print}'   #输出偶数行

 三、实战案例

58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1"""sendfileo

要输出时间和IP

cat 1.txt  | awk -F"[ []" '{print$1,$5}'

awk -F: 'BEGIN{a=0};$3%2==0 && /\/sbin\/nologin/{print NR,$0} END{print a}' /etc/passwd