海量数据处理:有1亿个浮点数,找出其中最大的10000个

        第一种方法是将数据全部排序,然后在排序后的集合中进行查找,最快的排序算法的时间复杂度一般为O(nlogn),例如快速排序.而在32位机器上,每个float类型占4B,1亿个浮点数就要占用400M的存储空间,对于一些可以内存小于400MB的计算机而言,显然是不能一次将全部数据读入内存进行排序的.其实即使内存能满足要求,该方法也不高效,因为题目的目的是寻找出最大的10000个数即可,而排序是将所有元素进行排序,做了很多无用功.

       第二种方法是淘汰法,该方法与排序方法类似,用一个容器保存前10000个数,然后将剩余的所有数据一一与容器内的最小数字相比, 如果所有后续的元素都比容器内的1000个数还小,那么容器内的这10000个数就是最大的10000个数.若某一后续袁旭比容器内的最小元素大,则删除容器内的最小元素,并将该元素插入容器,最后遍历完这1亿个数,得到的结果容器中保存的数即为最终结果了.此时的时间复杂度为O(n+m^2),其中m为容易的大小,即10000.

       第三种方法是分治法,将1亿个数据分成100份,每份100万个数据,找出每份数据中最大的10000个,最后在剩下的100*10000个数据里面找出最大的10000个.如果100万数据选的足够理想,那么可以过滤掉1亿数据里的99%的数据.100万个数据里面查找最大的10000个数据的方法如下:用快速排序的方法,将数据分为两堆,如果大的那堆个数N大于10000个,继续对大堆快速排序一次分为两堆;如果大堆个数N小于10000,就在小的那堆里面快速排序一次,找第10000-n大的数字;递归以上过程,就可以找到第10000大的数.参考上述方法找出第10000大数字,就可以类似的方法找出前10000大的数字了.此种方法需要的内存空间为100万*4=4M,一共需要101次这样的比较.

       第四种方法是hash法.如果这1亿个数里面有很多重复的数,先通过hash法,把这1亿个数字去重复,这样如果重复率很高的话,会减少很大的内存用量,从而缩小运算空间,然后通过分治法或者最小堆法进行查找最大的10000个数.

       第五种方法采用最小堆.先读入前10000个数来创建大小为10000的小顶堆,建堆的时间复杂度为O(mlogm)(m为数组的大小即为10000),然后遍历后续的数字,并与堆顶(最小)数字进行比较,若比最小的数字小,则继续读取后续数字;若比堆顶数字大,则替换堆顶元素并重新调整堆作为小顶堆.整个过程直至1亿个数全都遍历完为止.然后按照中序遍历的方式遍历输出当前堆中的所有10000个数字.该算法的时间复杂度为O(nmlogm),空间复杂度是10000(常数).

      实际上,最优的解决方案应该是最符合实际设计需求的方案,在实际应用中,可能有足够大的内存,那么直接将数据扔到内存中一次性处理即可,也可能机器有多个核,这样可以采用多线程处理整个数据集.

下面针对不同的应用场景,分析了适合相应应用场景的解决方案.

(1) 单机+单核+足够大内存

       例如如果需要查找10亿个查询词(每个占8Byte)中出现频率最高的10个,考虑到每个查询词占8Byte,则10亿个查询词所需的内存大约是10^9*8Byte = 8GB内存.如果有那么大的内存,直接在内存中对查询词进行排序,顺序遍历找出10个出现频率最大的10个即可.这种方法简单快速,更加实用.当然,也可以先用HashMap求出每个词出现的频率,然后求出出现频率最大的10个词.

(2) 单机+多核+足够大内存

       这是可以直接在内存中使用hash方法将数据划分成n个partition,每个partition交给一个线程处理,线程处理逻辑和(1)类似,最后一个线程将结果合并.

       该方法存在一个瓶颈---会明显影响效率,即数据倾斜,每个线程的处理速度可能不同,快的线程需要等待慢的线程,最终的处理速度取决于最慢的线程.而针对这个问题,解决的方法是:将数据划分成c*n个partition(c>1),每个线程处理完当前partition后主动取下一个partition继续处理,直到所有数据处理完毕,最后由一个线程将结果归并.

(3) 单机+单核+受限内存

       这种情况下,需要将原数据文件切割成一个一个小文件,如采用hash(x)%M,将原文件中的数据切割成M小文件,如果小文件仍大于内存大小,继续采用hash的方法对数据文件进行切割,直到每个小文件小于内存大小,这样将每个文件放到内存中处理,采用(1)的方法依次处理每一个小文件.

(4) 多机+受限内存

      这种情况下,为了合理利用多台机器的资源,可将数据分发到多台机器上,每台机器采用(3)中的策略解决本地的数据,可采用Hash+socket方法进行数据分发.

       从实际应用的角度考虑,(1),(2),(3),(4)方案并不可行,因为在大规模数据处理环境下,作业效率并不是要首先考虑的问题,算法的拓展性和容错性才是要首先考虑的.算法应该具有良好的拓展性,以便数据量的进一步加大时,在不修改算法框架的前提下,可达到近似的线程比;算法应该具有容错性,即当前某个文件处理失败后,能自动将其交给另外一个线程继续处理,而不是从头开始处理.

      top K 问题很适合采用MapReduce 框架解决,用户只需编写一个Map函数和两个Reduce函数,然后提交到Hadoop(采用Mapchain和Reducechain)上即可解决该问题.具体而言,就是首先根据数据值或者把数据hash(MD5)后的值按照范围划分到不同的机器上,最好可以让数据划分后可以一次性读入内存,这样不同的机子负责处理各种的数值范围,实际上就是Map.得到结果后,各个机器只需拿出各自的出现次数最多的前N个数据,然后汇总,选出所有数据中出现次数最多的前N个数据,这实际上就是Reduce过程.对于Map函数,采用hash算法,将hash值相同的数据交给同一个Reduce task;对于第一个Reduce函数,采用HashMap统计出每个词出现的频率,对于第二个Reduce函数,统计所哟Reduce task输出数据中的top K 即可.

       直接将数据均分到不同的机器上进行处理是无法得到正确结果的.因为一个数据可能被均分到不同的机器上,而另一个则可能完全聚集到一个机器上,同时还可能存在具有相同数目的数据,例如如果要找出现次数最多的前100个,将1000万的数据分不到10台机器上,找到每台出现最多的前100个,归并之后这样不能保证找到真正的第100个,因为比如出现次数最多的前100个可能有一万个,但是它被分到了10台机器上,这样每台机器上只有1000个,加上这些机器排名在1000个之前的那些都是单独分布在一台机器上的,比如有1001个,这样本来具有10000个的这个就会被淘汰,即使让每台机器选出出现次数最多的1000个再归并,仍然会出错,因为可能存在大量的个数为1001个的发送聚集.因此不能讲数据随便均分到不同机器上,而是要根据hash后的值将它们映射到不同的机器上处理,让不同的机器处理一个数值范围.