总也记不住的linux三剑客的awk
一 命令简介
废话不多说，man一下
name : pattern scanning and text processing language
模式扫描和文本处理语言
简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk擅长列输出
二具体用法
awk ‘{pattern + action}’ {filenames}
pattern 表示 AWK 在数据中查找的内容
action 是在找到匹配内容时所执行的一系列命令
awk内置变量
| 变量 | 含义 |
|---|---|
| ARGC | 命令行参数个数 |
| ARGV | 命令行参数排列 |
| ENVIRON | 支持队列中系统环境变量的使用 |
| FILENAME | awk浏览的文件名 |
| FNR | 浏览文件的记录数 |
| FS | 设置输入域分隔符，等价于命令行 -F选项 |
| NF | 浏览记录的域的个数 |
| NR | 已读的记录数 |
| OFS | 输出域分隔符 |
| ORS | 输出记录分隔符 |
| RS | 控制记录分隔符 |
| $0 | 是指整条记录 |
| $1 | 当前行的第一个域，$2表示当前行的第二个域,…以此类推。 |
| $NF | number finally,表示最后一列的信息，跟变量NF是有区别的，变量NF统计的是每行列的总数 |
三 命令展示
1 简单例子
一般都会拿/etc/passwd举列子，那我们也用这个吧
首先cat
root@ubuntu:/# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
根据之前提到的语法 awk ‘{pattern + action}’ {filenames}
pattern 为 ‘/root/’
filenames 为 /etc/passwd
action 如果没写 默认输出每行的内容
搜索/etc/passwd有root关键字的所有行
root@ubuntu:/# awk '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
因为是默认输出每行内容，那么也可以这么使用,因为$0是输出整行
awk '/root/ {print $0}' /etc/passwd
如果想获得 /etc/passwd有root关键字的所有行，并显示对应的shell
我们尝试 awk -F: ‘/root/ {print $7}’ /etc/passwd
root@ubuntu:/# awk '/root/ {print $7}' /etc/passwd
root@ubuntu:/#
竟然什么也输出不来，理论上是输出 /bin/bash 的
我们查看awk的内置变量 FS变量 设置输入域分隔符，等价于命令行 -F选项
分割符是：那么就是 -F :
然后命令为 awk -F: ‘/root/ {print $7}’ /etc/passwd
root@ubuntu:/# awk -F: '/root/ {print $7}' /etc/passwd
/bin/bash
root@ubuntu:/#
2 进阶例子
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
root@ubuntu:/# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
使用这个也可以awk -F: ‘{printf (“filename:%10s, linenumber:%3s,column:%3s,content:%3f\n”,FILENAME,NR,NF,$0)}’ /etc/passwd
root@ubuntu:/# awk -F: '{printf ("filename:%10s, linenumber:%3s,column:%3s,content:%3f\n",FILENAME,NR,NF,$0)}' /etc/passwd
filename:/etc/passwd, linenumber: 1,column: 7,content:0.000000
filename:/etc/passwd, linenumber: 2,column: 7,content:0.000000
awk -F “:” ‘{print $NF}’ /etc/passwd 代表查询最后一列 以":“为分隔符
awk -F “/” ‘{print $NF}’ /etc/passwd 代表查询最后一列 以”/"为分隔符
root@ubuntu:/# awk -F "/" '{print $NF}' /etc/passwd
bash
nologin
nologin
获取第12到31行的第一列的信息
awk -F “:” ‘{if(NR<31 && NR >12) print $1}’ /etc/passwd
高手使用
root@ubuntu:/# cat /etc/passwd | awk -F: 'BEGIN{print "name, shell"} {print $1,$NF} END{print "hello world"}'
name, shell
root /bin/bash
daemon /usr/sbin/nologin
bin /usr/sbin/nologin
sys /usr/sbin/nologin
sync /bin/sync
games /usr/sbin/nologin
man /usr/sbin/nologin
lp /usr/sbin/nologin
mail /usr/sbin/nologin
news /usr/sbin/nologin
uucp /usr/sbin/nologin
proxy /usr/sbin/nologin
www-data /usr/sbin/nologin
backup /usr/sbin/nologin
list /usr/sbin/nologin
irc /usr/sbin/nologin
gnats /usr/sbin/nologin
nobody /usr/sbin/nologin
systemd-timesync /bin/false
systemd-network /bin/false
systemd-resolve /bin/false
systemd-bus-proxy /bin/false
syslog /bin/false
_apt /bin/false
messagebus /bin/false
uuidd /bin/false
lightdm /bin/false
whoopsie /bin/false
avahi-autoipd /bin/false
avahi /bin/false
dnsmasq /bin/false
colord /bin/false
speech-dispatcher /bin/false
hplip /bin/false
kernoops /bin/false
pulse /bin/false
rtkit /bin/false
saned /bin/false
usbmux /bin/false
wmz /bin/bash
ftp /bin/false
tftp /bin/false
statd /bin/false
sshd /usr/sbin/nologin
hello world
root@ubuntu:/#
除了awk的内置变量，awk还可以自定义变量, awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同
ls -l|awk ‘{if($5>100){count++; sum+=$5}} {print “Count:” count,"Sum: " sum}’ 【因为awk会轮询统计，所以会显示整个过程】
ls -l|awk ‘{if($5>100){count++; sum+=$5}} END{print “Count:” count,"Sum: " sum}’ 【添加END后只显示最后的结果】
root@ubuntu:/# ls -l|awk '{if($5>100){count++; sum+=$5}} {print "Count:" count,"Sum: " sum}'
Count: Sum:
Count:1 Sum: 4096
Count:2 Sum: 8192
Count:3 Sum: 12288
Count:4 Sum: 16288
Count:5 Sum: 28576
Count:6 Sum: 32672
Count:6 Sum: 32672
Count:6 Sum: 32672
Count:7 Sum: 36768
Count:8 Sum: 40864
Count:9 Sum: 44960
Count:10 Sum: 61344
Count:11 Sum: 65440
Count:12 Sum: 69536
Count:13 Sum: 73632
Count:13 Sum: 73632
Count:14 Sum: 77728
Count:15 Sum: 78728
Count:16 Sum: 91016
Count:17 Sum: 95112
Count:18 Sum: 99208
Count:18 Sum: 99208
Count:19 Sum: 103304
Count:20 Sum: 107400
Count:21 Sum: 111496
Count:21 Sum: 111496
Count:21 Sum: 111496
root@ubuntu:/# ls -l|awk '{if($5>100){count++; sum+=$5}} END{print "Count:" count,"Sum: " sum}'
Count:21 Sum: 111496