文章来源:GitHub
自然语言处理
CoreNLP:斯坦福大学的CoreNLP提供一系列的自然语言处理工具,输入原始英语文本,可以给出单词的基本形式(下面Stanford开头的几个工具都包含其中)。(https://nlp.stanford.edu/software/corenlp.shtml)
Stanford Parser:一个自然语言解析器。(https://nlp.stanford.edu/software/lex-parser.shtml)
Stanford POS Tagger:一个词性分类器。(https://nlp.stanford.edu/software/tagger.shtml)
Stanford Name Entity Recognizer:Java实现的名称识别器。(https://nlp.stanford.edu/software/CRF-NER.shtml)
Stanford Word Segmenter:分词器,很多NLP工作中都要用到的标准预处理步骤。(https://nlp.stanford.edu/software/segmenter.shtml)
Tregex、Tsurgeon与Semgrex:用来在树状数据结构中进行模式匹配,基于树关系以及节点匹配的正则表达式(名字是“tree regular expressions"的缩写)(https://nlp.stanford.edu/software/tregex.shtml)
Stanford Phrasal:最新的基于统计短语的机器翻译系统,java编写。(https://nlp.stanford.edu/phrasal/)
Stanford Tokens Regex:用以定义文本模式的框架。(https://nlp.stanford.edu/software/tokensregex.shtml)
Stanford Temporal Tagger:SUTime是一个识别并标准化时间表达式的库。(https://nlp.stanford.edu/software/sutime.shtml)
Stanford SPIED:在种子集上使用模式,以迭代方式从无标签文本中学习字符实体。(https://nlp.stanford.edu/software/patternslearning.shtml)
Stanford Topic Modeling Toolbox:为社会科学家及其他希望分析数据集的人员提供的主题建模工具。(https://nlp.stanford.edu/software/tmt/tmt-0.4/)
Twitter Text Java:Java实现的推特文本处理库。(https://github.com/twitter/twitter-text-java)
MALLET:基于Java的统计自然语言处理、文档分类、聚类、主题建模、信息提取以及其他机器学习文本应用包。(http://mallet.cs.umass.edu/)
OpenNLP:处理自然语言文本的机器学习工具包。(http://hao.jobbole.com/apache-opennlp/)
LingPipe:使用计算机语言学处理文本的工具包。(http://alias-i.com/lingpipe/index.html)
通用机器学习
MLlib in Apache Spark:Spark中的分布式机器学习程序库。(http://spark.apache.org/docs/latest/mllib-guide.html)
Mahout:分布式的机器学习库。(https://github.com/apache/mahout)
Stanford Classifier:斯坦福大学的分类器。(https://nlp.stanford.edu/software/classifier.shtml)
Weka:Weka是数据挖掘方面的机器学习算法集。(http://www.cs.waikato.ac.nz/ml/weka/)
ORYX:提供一个简单的大规模实时机器学习/预测分析基础架构。(https://github.com/cloudera/oryx)
数据分析/数据可视化
Hadoop:大数据分析平台。(https://github.com/apache/hadoop-mapreduce)
Spark:快速通用的大规模数据处理引擎。(https://github.com/apache/spark)
Impala:为Hadoop实现实时查询。(https://github.com/cloudera/impala)