浅析 awk 文本分析

awk 逐行读取文件，以空格为分隔符将每行切片，切开的部分再进行各种分析处理

awk {option} 'pattern + {action}' {filenames}

正则表达式例：cat 111 | awk ' /^li/ {print $0}' 匹配每行以li开头的记录
关系表达式例：cat 111 | awk 'NR==2 {print $0}' 只输出第二条记录
模式匹配表达式例：cat 111 | awk ':' '$1~/zarafa/ {print $0}' 匹配第一列包含zarafa的记录，与关系表达式相比，只是模糊比较，不是精确比较（~匹配 ~!不匹配）
BEGIN END 模块，awk 'BEGIN{ commands } pattern{ commands } END{ commands }'，先执行BEGIN后面的 commands 语句，一般用作自定义变量，输入表头等，只执行一次，再逐行扫描文件，从第一行到最后一行重复执行 pattern{ commands } 语句，最后执行END后面的 commands 语句，只执行一次，一般用作分析结果、数据汇总的输出
awk也是一种编程语言，pattern中完美支持do while、while、for、continue、break以及数组等语法

last -n 5 | awk '{print $1}' 显示最近登录的5个账户
cat /etc/passwd | awk -F ':' '{print $1}' 显示 /etc/passwd 的账户
cat /etc/passwd | awk -F ':' '{print $1"\t"$7}' 显示 /etc/passwd 的账户和shell，以Tab键分割
cat /etc/passwd | awk -F ':' 'BEGIN{print "start"} {print $1","$7} END {print "over"}' 显示 /etc/passwd 的账户和shell，以逗号分割，并且在数据的首尾增加start、over标识
cat /etc/passwd | awk '/root/ {print $0}' 输出 /etc/passwd 有 root 关键字的行
cat /etc/passwd | awk -F ":" ' {count++;} END {print count;}'
cat /etc/passwd | awk -F ':' 'END {print NR}'
统计 /etc/passwd 账户人数
ls -l | awk '{sum=sum+$5} END {print sum}' 统计某个文件夹下文件占用字节数
ls -l | awk '$5>5120 {print $0}' 输出某个文件夹下文件字节数大于5K的文件
cat /etc/passwd | awk -F ":" '{print $1,$3}' OFS="---" 将输出的分隔符改为---

Nginx日志 /usr/local/nginx1.2.2/logs/access.log

127.0.0.1  [31/Aug/2017:00:01:01 +0800] "POST /index.php HTTP/1.1" 200 1540 "-" "-" "xxxxxx" xxxxxx"

统计日志中访问最多的10个IP
awk '{a[$1]++;} END {for(i in a) print a[i] "\t" i | "sort -k1 -nr | head -n10 "}' access.log
利用a[$1]++;，实现IP去重，并且统计IP出现的次数，之后再利用sort命令，按照第一列的数值倒叙排序，输出前10行
统计日志中访问大于100次的IP
awk '{a[$1]++;} END {for(i in a) if(a[i]>100) print a[i]"\t"i | "sort -k1 -nr | head -n 10" }' access.log
倒叙列打印文件

倒叙列转化

cat 222.txt | awk '{for(i=NF; i>=1; i--) {printf "%s ",$i}print s}'（print s 打印一个换行符）

从第2列打印到最后

cat 222 | awk '{for(i=2;i<=NF;i++) {printf"%s ",$i}print s}'