Linux 命令统计日志某个字段的信息

日志数据

需求：

如上图，某个服务器的日志文件，通过命令
grep "Send kafka Success" 2021-08-01-info.log | grep "result_size:100"
可以得到相关日志。现在要求统计所有result_size累加的结果。

参考命令如下：

数据样例
echo -e 'query_id:Brocade_Monitor_Query:618997358923026433,result_size:2 \n query_id:Brocade_Monitor_Query:618997369312317440,result_size:9\n query_id:Brocade_Monitor_Query:618997369312317440,result_size:13'  | grep -o -E "result_size:[0-9]+" | awk -F ':' 'BEGIN{print "开始统计result_size累加和"} {sumSize+=$2 ; print $2} END{print "sumSize="sumSize}'

以下命令，可以直接执行日志文件 参数fileName更换为实际文件名即可
cat fileName | grep -o -E "result_size:[0-9]+" | awk -F ':' 'BEGIN{print "开始统计result_size累加和"} {sumSize+=$2} END{print "sumSize="sumSize}'

rd@sg-ai-online-docker-host]$ echo -e 'query_id:Brocade_Monitor_Query:618997358923026433,result_size:2 \n query_id:Brocade_Monitor_Query:618997369312317440,result_size:9\n query_id:Brocade_Monitor_Query:618997369312317440,result_size:13'  | grep -o -E "result_size:[0-9]+" | awk -F ':' 'BEGIN{print "开始统计result_size累加和"} {sumSize+=$2 ; print $2} END{print "sumSize="sumSize}'
开始统计result_size累加和
2
9
13
sumSize=24

实际应用：

grep "Send kafka Success" 2021-08-01-info.log | grep -o -E "result_size:[0-9]+" | awk -F ':' 'BEGIN{print "开始统计result_size累加和"} {sumSize+=$2 } END{print "sumSize="sumSize}'

grep "Send kafka Success" 2021-08-01-info.log | grep -o -E "result_size:[0-9]+" | awk -F ':' 'BEGIN{print "开始统计result_size累加和"} {sumSize+=$2 ; print $2} END{print "sumSize="sumSize}'

结果

解释

grep -o -E

sed 命令可以很好的进行行匹配，但从某一行中精确匹配某些内容，则使用 grep 命令并辅以 -o 和 -E 选项可达到此目的。其中 -o 表示“only-matching”，即“仅匹配”之意。光用它不够，配合 -E 选项使用扩展正则表达式则威力巨大。

比如下面有一条文本 tmp.txt ，其中内容为：

{"aid":45,"path":"attachment/Mon_1112/2_1_5728040df3ab346.jpg"}

我们想从中过略出 aid 的值即 45 ，那么可以先如下这么做：

grep -o -E 'aid":[1-9]*' tmp.txt

得到的结果为：

aid":45

这时就好办了，我们可以使用 awk 的 -F 选项指示出冒号分隔符，这样就容易过滤出 45 这个值来，整个命令综合如下：

grep -o -E 'aid":[1-9]*' tmp.txt |awk-F: '{print $2}'

参考文档：https://www.cnblogs.com/hanxing/p/8711705.html