python分析accesslog并排序

最近面试的一个问题,面的时候脑子卡壳了,面完刚出公司就想起来,很尴尬。于是记录一下。

数据是这样的:

121.31.95.182 - - [06/Aug/2015:08:04:41 +0800] "GET /user.php?do=GetGiftAward&phpp=ANDROID_91&phpl=ZH_CN&pvc=1.5.3&pvb=2014-10-22%2017%3a17%3a26&v=9099 HTTP/1.1" 200 250 "-" "Dalvik/1.6.0 (Linux; U; Android 4.4.4; HM NOTE 1LTE MIUI/V6.6.1.0.KHICNCF)"

很普通的nginx日志


问题是:

    如果这样的数据有100行怎么找出日志里IP次数出现最多的5个,1W行呢。

思路其实很简单:

    打开一个文件句柄,每次读一行,然后通过split切割出ip,记录到字典中,当时面试的时候卡在排序了,脑子一片糊涂- -。 其实很简单 用sorted函数 以value当成排序的key 排好序后翻转一下,这样出现次数多的就在前面了。然后顺序打印即可                       

#!/usr/bin/env python

data={}
fp=open('/tmp/access.log','rb')
while True:
	fdata=fp.readline()
	if not fdata :
		break
	ip = fdata.split()[0]
	if ip in data:
		data[ip]+=1
	else:
		data[ip]=1

#sort
print sorted(data.items(),key=lambda d:d[1],reverse=True)[0:5]

-----------------------------------------------------------------------------------------8月11日更新,当时面试时考虑的排序方法:
冒泡
sortList=data.keys()
length=len(sortList)
for i in xrange(length):
        for j in xrange(i):
                if data[sortList[j]] >  data[sortList[i]]:
                        sortList[j],sortList[i] =  sortList[i],sortList[j]


PS:shell版本  cat /tmp/access.log | awk '{print $1}' | sort | uniq -c| sort -k1nr|head -5

你可能感兴趣的:(linux,python,acceslog)