Solr/Lucene日志分析-查询热点词-脚本工具

solr/lucene 在中文搜索使用中，会输出非常多的类似下面的内容：

2012-04-24 00:00:01,396 INFO
[org.apache.solr.core.SolrCore] - [XXXX-0] webapp=null path=/select
params={q=status:0+AND+(img_file_id:(++12333018751568476))&timeAllowed=2000sort=gmtcreate+desc&rows=60&start=0}
hits=44 status=0 QTime=0

这部分log 包含了查询条件，其中最有价值之一的就是中文词，大量的查询聚集出用户的查询喜好。

对这些log的快速、低成本分析非常有助于应用中运营活动的推广。体现搜索引擎的数据密集价值之一！

更深入的挖掘比如，带上性别信息、行业信息，就可以深入掌握用户关注什么、行业动态是什么等商业信息。

这也是很多搜索引擎在广告之外的另一项收入。

下面提供一种基于脚本的针对solr/luene log中。查询条件中的中文词提取并总计排序。

针对单个文件的统计输出，批量处理，添加一个find，然后循环文件即可。



注意事项：

   
这个脚本在1G左右单个log文件解析时，时间大约2分钟。

   
在解析期间，服务器load明显增多，在线解析log需要避开服务器高峰期

   
解析调试需要注意编码

   
中英文混合时，英文部分会被忽略

   
有些标点符号以及一些特殊字符在不同版本、不同环境下会有所不同，不影响总体统计分析结果

    grep (GNU
grep) 2.5.1

脚本解释

    grep ‘webapp’ $1  //接受参数
在命令行下 执行  ./jiaobenName.sh 
query.log

   | awk ‘{print $9}’ // 提取patch
之后的内容

   | awk -F “&”
‘{print $1}’ // 提取patch中查询串，去掉其他条件信息

   | echo -e “$(sed ‘s/+/ /g;
s/%/\x/g’)”  // decode log

   | sed
‘s/[!-~a-zA-Z0-9=:|-]/ /g’  //英文部分用空格替换

   | sed ‘s/ /n/g’ | grep -v
‘^$’  //空格用n 替换，并去掉重复n

   | awk ‘{count[$0]++} END
{for(k in count) print count[k],k}’ 
//统计单词词频

   | sort -k1
-nr  //按照词频降序

   >
“/home/yingyuan.lyq/tw$1” //最终结果保存路径

#! /bin/sh

if [ -z “$1” ]

then

       
echo “need file”

       
exit 1

fi

 

grep ‘webapp’ $1 | awk ‘{print
$9}’ | awk -F “&” ‘{print $1}’ | echo -e “$(sed
‘s/+/ /g; s/%/\x/g’)” | sed ‘s/[!-~a-zA-Z0-9=:|-]/ /g’ | sed
‘s/ /n/g’ | grep -v ‘^$’ | awk ‘{count[$0]++} END {for(k in count)
print count[k],k}’ | sort -k1 -nr >
“/home/yingyuan.lyq/tw_$1”

本文来源于"阿里中间件团队播客",原文发表时间"  2012-05-01 "