如何在python程序中调用weka的分类器

WEKAwww.cs.waikato.ac.nz/ml/weka/)作为一个公开的数据挖掘工作平台,集合了大量能承担数据挖掘任务的机器学习算法,包括对数据进行预处理,分类,回归聚类关联规则以及在新的交互式界面上的可视化。而开发者则可使用Java语言,利用Weka的架构上开发出更多的数据挖掘算法。

 

Python是一种面向对象直译式计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定。这种语言具有非常简捷而清晰的语法特点,适合完成各种高层任务,几乎可以在所有的操作系统中运行。目前,基于这种语言的相关技术正在飞速的发展,用户数量急剧扩大,相关的资源非常多。越来越多的实验室和科研院所选择python 语言作为自己的编程语言以快速高效的开发实验程序,观察实验结果。

 

那么如果能将功能强大的python语言和weka平台中用java语言实现好的机器学习算法结合起来,毫无疑问可以使写程序做实验的过程变得更加的轻松,简便。

 

虽然现在还没有相关的第三方工具提供python语言和java语言互相调用的功能,但是在nltknltk.sourceforge.net/)这是一个用python语言编写的自然语言处理工具包,在其nltk.classify.weka类中给我们在python程序中调用 weak中的分类器提供了一个途径。通过其中WekaClassifier类可以由python程序生成的features 转化为weka中的arff文件格式,自动的设置命令参数。并对自动的解析weka返回的分类结果,将其保存在列表。

Example

def gender_features(name):

      features = {}

      for letter in 'abcdefghijklmnopqrstuvwxyz':

        features['count(%s)' % letter] = name.lower().count(letter)

        features['has(%s)' % letter] = letter in name.lower()

        features['startswith(%s)' % letter] = (letter==name[0].lower())

        features['endswith(%s)' % letter] = (letter==name[-1].lower())

      return features

if __name__ == "__main__":

   

    from nltk.corpus import names

    import random

    names = ([(name, 'male') for name in names.words('male.txt')] +[(name, 'female') for name in names.words('female.txt')])

    random.shuffle(names)

    featuresets = [(gender_features(n), g) for (n,g) in names]

    train_set, test_set = featuresets[500:], featuresets[:500]

    classifier = WekaClassifier.train(r'c:/name.model',train_set,'weka.classifiers.functions.Logistic')

    print nltk.classify.accuracy(classifier, test_set)

    ls = ["Alex","Neo","vivian","tom"]

    result = classifier.batch_classify([gender_features(name) for name in ls])

print result

 

不过由于版本和操作系统的问题,需要对nltknltk.classify.weka下的一些源文件做出修改,才可以正常使用,目前我们已经发现的bug

1 命令行下的命令修改成为java.exe

2 输出结果的解析功能,解析返回列表的下标起始位置不正确,需要根据你的weka版本来确定

3 合成命令行下命令时,命令的组合中 –cp参数的两个值在windows os中应该通过“;”连接起来

4 需要设定WEKAHOME或者在程序设定的默认搜索路径中加入你的weka文件所在的路径

 

(吴博 [email protected]

 

你可能感兴趣的:(python,数据挖掘,自然语言处理,语言,import,features)