awk操作
文章目录
- 1. awk的使用模式
-
- 1.1 基本的命令说明
- 1.2 awk有3种使用方式
- 2. Pattern的类型
-
- 2.1 正则表达式
- 2.2 布尔操作符
- 2.3 特殊模式
- 3. 程序的结构
-
- 3.1 方法调用
- 3.2 退出，类似与Java里的break
- 3.3 下一个循环，类似于Java里的continue
- 3.4 赋值
- 3.5 分支
- 3.6 循环
- 3.7 循环in
- 4. 函数定义
- 5. 内置变量
- 6. 内置函数
-
- 6.0 awk内置函数说明
- 6.1 printf，类似与c/Java里的printf
- 6.2 print 打印
- 6.3 split 切分字符串
- 6.4 match 正则抽取
- 6.5 index length substr 查找子串、计算字符串长度、字符串截取
- 7. 使用场景
-
- 7.1 使用\u0001做分隔符
1. awk的使用模式
1.1 基本的命令说明
awk 'BEGIN {初始化} Pattern1 {处理} ... PatternN {处理} END {清理}' 文件
- 初始化: 只在开始的时候被调用一次
- 处理: 匹配Pattern的每一行调用一次，不提供Pattern表示匹配所有行，Pattern可以提供任意个
- 清理: 所有行数据处理完后执行一次
注意事项:
- awk后面的命令语句只能使用单引号
- BEGIN和END可以理解为两种特殊的Pattern，只在开始和结尾的时候匹配一次
1.2 awk有3种使用方式
- 命令行模式， 将awk命令放到单引号内(‘’) ，比如
awk '{print($1);}' input - 单独文件，将命令放到文件中，比如: script.awk，文件内容:
{print($1);}，然后在命令中引用文件awk -f script.awk input - shell方式
2. Pattern的类型
BEGIN和END是特殊的Pattern，除此以外可以使用的Pattern还有3种: 正则表达式、布尔操作、 特殊模式
2.1 正则表达式
/admin/
/^admin/
/admin$/
/^[0-9.]+ /
/(POST|PUT|DELETE)/
$2 ~ /[0-9]+/ && $3 !~ /[a-z]+/ && $2 > 189000
- 正则以两个反斜杠包围，使用
/.../ - 默认用整行数据去匹配，可以匹配其中一部分即可
- 中括号表示候选值，比如
[0-9.] - 可以指定变量去匹配、不匹配，使用
~ /../和!~ /.../
2.2 布尔操作符
- 支持与或非操作, 使用
&& || ! - 支持数据比较， 使用
> >= < <= == - 支持文本比较， 使用
== - 支持正则匹配， 使用
~ !~
2.3 特殊模式
- BEGIN、END分别匹配开始和结尾
- 使用变量值，比如使用分割后的第二个字段:
/admin.html$/ && $2 == "DELETE"
这里的变量值可以是awk的任意内置变量，如我们需要大于第一个行或匹配特定正则的行，我们可以这样写:
ps -ef | awk 'NR ==1 || /track-log-server/ {print $0;}'
3. 程序的结构
awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。
3.1 方法调用
{ print $0; }
3.2 退出，类似与Java里的break
{ exit; }
3.3 下一个循环，类似于Java里的continue
{ next; }
3.4 赋值
{ a=$1; b=$0 }
{ c[$1] = $2 }
3.5 分支
{
if (BOOLEAN) {
ACTION
} else if (BOOLEAN) {
ACTION
} else {
ACTION
}
}
3.6 循环
{
for (i=1; i3.7 循环in
{
for (item in c) {
ACTION
}
}
4. 函数定义
function name(parameter-list) {
ACTIONS; # same actions as usual
}
function add1(val) {
return val+1;
}
5. 内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
NF 浏览记录的域的个数
NR 已读的记录数
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
RS 控制记录分隔符
OFS 输出域分隔符
ORS 输出记录分隔符
$0 当前行
$1..$n 用FS分割后的第1到n个字段
6. 内置函数
6.0 awk内置函数说明
http://www.gnu.org/software/gawk/manual/gawk.html#Functions
6.1 printf，类似与c/Java里的printf
awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%sn",FILENAME,NR,NF,$0)}' /etc/passwd
awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
6.2 print 打印
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
6.3 split 切分字符串
tail -10 WebAdWatchLog_2019091613.log | cat -A | awk '{b=split($0,a,"\\^A");print($0);print(a[b]);}'
6.4 match 正则抽取
$cat as.sh | awk -p '/[Aa]ttach/ {idx=match($0,/([Aa]ttach_([a-z]+))/,arr) ;if(idx != 0) print $0, arr[1], arr[2];}'
attach_jvm() attach_jvm jvm
6.5 index length substr 查找子串、计算字符串长度、字符串截取
$cat as.sh | awk -p '/[Aa]ttach/ {idx=index($0,"attach_jvm");
if(idx >0) { print $0, idx, idx + length("attach_jvm"), substr ($0, idx + length("attach_jvm")); }}'
attach_jvm() 1 11 ()
- index($0,“attach_jvm”) 计算$0中attach_jvm的位置，返回值从1开始，0表示没找到
- length(str) 计算字符串长度
- substr($0, idx,[length]) 从$0的idx位置开始，截取length个字符，不传length则截取到最后
7. 使用场景
7.1 使用\u0001做分隔符
cat 000000_0 | awk 'BEGIN{FS="\x01"} {print $1}' | head -10