使用awk解析url参数

使用awk解析url参数

问题描述：
线上nginx日志格式如下:"60.10.97.182 - - [23/Nov/2014:08:46:07 +0800] "GET /ph/login_v13.php?version=14&gid=A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-""
需要找出crystals > 100w 或者 coins>1000w 或者 coins> 10w的gid。

首先，你得熟悉awk的用法，awk简明教程；

其次，解析url参数，只用到了awk -F的用法和awk中$N的含义，所以还是很简单的，去看上面那个教程即可；

最后，这种方法有一个限制。

输入日志为log1.txt,

 mohe@mohe's mac:~/Downloads head -5 log1.txt
 

结果为：

 60.10.97.182 - - [23/Nov/2014:08:46:07 +0800] "GET /ph/login_v13.php?version=14&gid=A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
 60.10.97.182 - - [23/Nov/2014:08:57:44 +0800] "GET /ph/login_v13.php?version=14&gid=A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
 114.242.250.119 - - [23/Nov/2014:13:40:33 +0800] "GET /ph/login_v13.php?version=14&gid=862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=1138&coins=1127420&gcoins=86 HTTP/1.1" 200 670 "-" "-"
 114.242.250.119 - - [23/Nov/2014:14:07:52 +0800] "GET /ph/login_v13.php?version=14&gid=862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=383&coins=1125890&gcoins=86 HTTP/1.1" 200 670 "-" "-"
 221.222.205.225 - - [23/Nov/2014:14:26:22 +0800] "GET /ph/login_v13.php?version=14&gid=357747050991137&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=0&coins=0&gcoins=0 HTTP/1.1" 200 670 "-" "-"
 

我们首先解析gid

 awk -F '&gid=' '{print $2}'
 

结果为以'&gid'分割每行记录的第二部分：
结果就是：

 A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
 A0000040573D0F&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=393&coins=548076&gcoins=290 HTTP/1.1" 200 670 "-" "-"
 862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=1138&coins=1127420&gcoins=86 HTTP/1.1" 200 670 "-" "-"
 862243020326305&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=383&coins=1125890&gcoins=86 HTTP/1.1" 200 670 "-" "-"
 357747050991137&cfgv=11&dcifv=8&platform=android_chn&country=&crystals=0&coins=0&gcoins=0 HTTP/1.1" 200 670 "-" "-"
 

下面我要做什么你应该要猜到了：

gid的后面接的参数不就是：为以'&gid'分割每行记录的第二部分(即脚本中的$2)为输入，
再使用以'&cfgv='分割记录的第一个部分(即脚本中的$1)就可以了。let's go

 awk -F '&gid=' '{print $2}' log1.txt | awk -F '&cfgv=11' '{print $1}' | head
 

结果为

 A0000040573D0F
 A0000040573D0F
 862243020326305
 862243020326305
 357747050991137
 357747050991137
 355637058901786
 865173020351556
 A0000040573D0F
 A0000040573D0F
 

这样gid就搞定了。

• 首先拿到所有gid,重定向到gid
  

  
   awk -F '&gid=' '{print $2}' log1.txt | awk -F '&cfgv=' '{print $1}' > gid
   

• 其次，拿到crystals
  

  
   awk -F '&crystals=' '{print $2}' log1.txt | awk -F '&coins=' '{print $1}' > crystals
   

• 接着，拿到coins
  

  
   awk -F '&coins=' '{print $2}' log1.txt | awk -F '&gcoins' '{print $1}' > coins
   

• 别急，还有gcoins
  

  
   awk -F '&gcoins=' '{print $2}' log1.txt | awk -F 'HTTP/1.1' '{print $1}' > gcoins
   

现在一共有四个文件，使用paste命令，将其粘贴一起；

 paste gid crystals coins gcoins > res
 

最后,只要你熟悉了awk的逻辑运算符，简单到爆

 awk '$2 > 1000000 || $3 > 10000000 || $4 > 100000' res1 > res2 %%找出满足条件的记录
 awk '{print $1}' res2 %打印第一列
 

one more thing，还需要对于gid去重

 sort | uniq -c | sort
 

uniq
uniq 在读取行时会对它们进行比较并将只除去两个或更多的连续行，所以使用uniq之前一定要排序
输出重复出现的文本，-c加上次数,
sort -r -n
按照升序排列，数字排序

这种方法的限制其实再做法中可以看出，url几个参数的位置一定要确定。如果url参数乱序，那么你得用下面得数据,activityId为需要的参数

 grep -oP '(?<=activityId=)[^&&]+'
 

方法来自一个前厂的一个半神，也就是说使用grep也能干这件事

2016/5/16 补充
求平均数

 cat 2 | awk '{sum+=$1} END {print "Average = ", sum/NR}'
 

如果是二进制文件grep，需要加上参数-a

 grep -a "time cost :" access_* | awk '{print $5}' > 2