Ospaf项目-commits词频统计模块
1.背景
最近在搞得ospaf项目（可以移步ospaf中期报告来了解），对于commits数据进行特征提取的时候发现，因为开源项目的commits的特点有以下两个主要放面：1.动词往往出现在第一个字，例如add、revert之类的。2.动词相对固定，主要也就是那几种，add、revert、update、merge、remove之类的。
所以要做的工作就比较清晰了。
步骤1.首先是提取每个commit第一个字母
步骤2.因为每个项目有很多contributor，所以大家习惯的写法也不一样，如add，有的人会写成Add、added、Added之类的。
2.算法与代码
1.同型单词的识别
针对与上述的步骤2，也就是同形单词的识别问题。我想到了一个算法（大家有更好的请留言指教），比如单词A和B。首先将A和B都转换成小写a、b，然后找到a和b中较短的单词，这个较短的单词长k=min（len(a,b)），如果k是偶数取distance=k/2，如果k是奇数distance=k/2+1。接着将a和b按字母分割，如果a和b的前distance个字母相同，说明A和B同型。这个算法虽然不够精准，但是在ospaf项目是够用了。代码如下，如果a=b，返回1。否则返回0
def WordCompare(a,b):
a_low=a.lower()
b_low=b.lower()
a_length=len(a_low)
b_length=len(b_low)
distance=min(a_length,b_length)
if distance%2 ==0:
distance_cop=distance/2
else:
distance_cop=distance/2+1
for i in range(0,distance_cop):
if a_low[i]==b_low[i]:
continue
else:
return 0
break
return 1
2.记录词频
首先有一个单词库KeyWords负责统计需要记录的单词，commit是样例：
'''
compare the different word
@author: Garvin
'''
KeyWords=['add','remove','update']
commite=['Added testh ','removed fae gew','update cewf','add cek','get tawge']
def WordCompare(a,b):
a_low=a.lower()
b_low=b.lower()
a_length=len(a_low)
b_length=len(b_low)
distance=min(a_length,b_length)
if distance%2 ==0:
distance_cop=distance/2
else:
distance_cop=distance/2+1
for i in range(0,distance_cop):
if a_low[i]==b_low[i]:
continue
else:
return 0
break
return 1
def GetKeyWordFreq(KeyWords,commits):
WordFreqDic={}
for i in KeyWords:
WordFreqDic[i]=0
for j in commite:
# j.split()[0]
for key in WordFreqDic.keys():
if WordCompare(j.split()[0],key)==1:
WordFreqDic[key]=WordFreqDic[key]+1
return WordFreqDic
if __name__=='__main__':
print GetKeyWordFreq(KeyWords,commite)
# print WordCompare('commited','commit')
结果如下：
/********************************
* 本文来自博客 “李博Garvin“
* 转载请标明出处:http://blog.csdn.net/buptgshengod
******************************************/