近期会做的项目

阅读更多

1. 大规模文本自动聚类。

目前实验条件有限,只能做到G级别,语料采用搜狐的新闻。

用mapreduce并行化分词,建立VSM。采用经典的tf/idf。

然后并行化的canopy算法进行粗分

再用并行化的k-means,余弦距离度量进行最后的聚类

思路已经想得非常清楚了,接下来就是写代码,得出数据。

2. 大规模文本自动分类。

采用svm或naive bayes算法,前面几步已经想清,最后的并行化没想清楚。

3.这个项目无限期长, 因为首先要把奇异值分解(SVD)的并行搞定。

建立VSM之后,矩阵的维度会变得非常高,采用这种方法可以将算法复杂度降低几个数量级。

做完之后,会继续采用Apache协议开源

你可能感兴趣的:(算法,Mapreduce,Google,Apache)