WEKA(www.cs.waikato.ac.nz/ml/weka/)作为一个公开的数据挖掘工作平台,集合了大量能承担数据挖掘任务的机器学习算法,包括对数据进行预处理,分类,回归、聚类、关联规则以及在新的交互式界面上的可视化。而开发者则可使用Java语言,利用Weka的架构上开发出更多的数据挖掘算法。
Python是一种面向对象、直译式计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定。这种语言具有非常简捷而清晰的语法特点,适合完成各种高层任务,几乎可以在所有的操作系统中运行。目前,基于这种语言的相关技术正在飞速的发展,用户数量急剧扩大,相关的资源非常多。越来越多的实验室和科研院所选择python 语言作为自己的编程语言以快速高效的开发实验程序,观察实验结果。
那么如果能将功能强大的python语言和weka平台中用java语言实现好的机器学习算法结合起来,毫无疑问可以使写程序做实验的过程变得更加的轻松,简便。
虽然现在还没有相关的第三方工具提供python语言和java语言互相调用的功能,但是在nltk(nltk.sourceforge.net/)这是一个用python语言编写的自然语言处理工具包,在其nltk.classify.weka类中给我们在python程序中调用 weak中的分类器提供了一个途径。通过其中WekaClassifier类可以由python程序生成的features 转化为weka中的arff文件格式,自动的设置命令参数。并对自动的解析weka返回的分类结果,将其保存在列表。
Example:
def gender_features(name):
features = {}
for letter in 'abcdefghijklmnopqrstuvwxyz':
features['count(%s)' % letter] = name.lower().count(letter)
features['has(%s)' % letter] = letter in name.lower()
features['startswith(%s)' % letter] = (letter==name[0].lower())
features['endswith(%s)' % letter] = (letter==name[-1].lower())
return features
if __name__ == "__main__":
from nltk.corpus import names
import random
names = ([(name, 'male') for name in names.words('male.txt')] +[(name, 'female') for name in names.words('female.txt')])
random.shuffle(names)
featuresets = [(gender_features(n), g) for (n,g) in names]
train_set, test_set = featuresets[500:], featuresets[:500]
classifier = WekaClassifier.train(r'c:/name.model',train_set,'weka.classifiers.functions.Logistic')
print nltk.classify.accuracy(classifier, test_set)
ls = ["Alex","Neo","vivian","tom"]
result = classifier.batch_classify([gender_features(name) for name in ls])
print result
不过由于版本和操作系统的问题,需要对nltk中nltk.classify.weka下的一些源文件做出修改,才可以正常使用,目前我们已经发现的bug有
1 命令行下的命令修改成为java.exe
2 输出结果的解析功能,解析返回列表的下标起始位置不正确,需要根据你的weka版本来确定
3 合成命令行下命令时,命令的组合中 –cp参数的两个值在windows os中应该通过“;”连接起来
4 需要设定WEKAHOME或者在程序设定的默认搜索路径中加入你的weka文件所在的路径
(吴博 [email protected])