Java面试来一发（一）TopN问题

一、TopN问题描述

1、TopN问题描述

问题一：找出海量数据中出现次数最多的N个数据。

问题二：找出两个超大文件中的相同字符串。

问题三：找出超多整数中没有重复出现的整数，或多少以内没出现的整数。

2、解决方案

通用方案：分而治之的思想，先拆分成很多小文件，每个文件分别统计和排序，然后归并排序。

问题一：除分而治之方案外，如果无内存限制，则可用trie字典树。

问题二：除分而治之方案外，如果容许有错，可用布隆过滤器。

问题三：可用位集或BitMap，将这组数据映射到BitSet，然后遍历BitSet，对应位为0的数表示没有出现过的数据。。

二、相关介绍

1、字典树

字典树是一种哈希树的变种，可用排序和保存大量的字符串，所以经常被搜索引擎系统用于文本词频统计。特点是利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。缺点是比较耗内存。

2、布隆过滤器

布隆过滤器的基本思路是通过一个哈希函数将一个元素映射成一个位阵列中的一个点，以此判断某个点是否存在。布隆过滤器可以用于检索一个元素是否在一个集合中。优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

3、位集

一个Integer数据有32位，也就是可以表示32个true/false，一个1GB的空间，有8*1024*1024*1024 = 8.58*10^9bit，也就是1GB的空间可以表示85亿多个数。

4、堆排序

参考：https://www.cnblogs.com/jingmoxukong/p/4303826.html

参考资料：

https://blog.csdn.net/hitxueliang/article/details/52153476