统计一篇文章中出现次数最多的前k个词

      应该考虑文件大小和词的多少,有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词。于每个词x,取hash(x)%5000,然后按照该值存到5000个小文件(记为x0,x1,...x4999)中。这样每个文件大概是200k左右。

     如果其中的有的文件超过了1M大小,还可以按照类似的方法继续往下分,直到分解得到的小文件的大小都不超过1M。
     对每个小文件,统计每个文件中出现的词以及相应的频率(可以采用trie树/hash_map等),并取出出现频率最大的100个词(可以用含100个结点的最小堆),并把100个词

    方案:顺序读文件中,对及相应的频率存入文件,这样又得到了5000个文件。下一步就是把这5000个文件进行归并(类似与归并排序)的过程了。

方法一:哈希表统计词频,每次查找插入的时间复杂度是O(1),一共O(n)。然后排序使用下面的堆排序;

方法二:使用map即二叉查找树统计词频,每次查找插入O(logn),一共O(nlogn)。然后排序使用下面的堆排序;

堆排序nlogk(构建k个数的最小堆,和堆顶元素比较,如果比堆顶元素小,替换然后shiftdown)

如果不需要前k项进行排序,直接使用快排的前k部分,O(n)复杂度。

你可能感兴趣的:(数据结构和算法)