top-K问题详解

           top-K 问题是一类经典的问题，它能解决许多海量数据处理相关的问题，例如在1亿个ip中找出访问次数前1000的ip，在海量搜索字符串中找出搜索频率排在前十的搜索字符串等等。下面我们由浅入深对其进行分析。

我们可以将这类问题分为三个方向考虑：

        1.将输入内容（假设用数组存放）进行完全排序，从中选出排在前K的元素即为所求。有了这个思路，我们可以选择相应的排序算法进行处理，目前来看快速排序，堆排序和归并排序都能达到O(nlogn)的时间复杂度。

        2.对输入内容进行部分排序，即只对前K大的元素进行排序（这K个元素即为所求）。此时我们可以选择冒泡排序或选择排序进行处理，即每次冒泡（选择）都能找到所求的一个元素。这类策略的时间复杂度是O(Kn)。

        3.对输入内容不进行排序，显而易见，这种策略将会有更好的性能开销。我们此时可以选择两种策略进行处理：

                a)利用小根堆维护一个大小为K的数组，目前该小根堆中的元素是排名前K的数，其中根是最小的数。此后，每次从原数组中取一个元素与根进行比较，如大于根的元素，则将根元素替换并进行堆调整（下沉），即保证小根堆中的元素仍然是排名前K的数，且根元素仍然最小；否则不予处理，取下一个数组元素继续该过程。该算法的时间复杂度是O(nlogK)，一般来说企业中都采用该策略处理top-K问题，因为该算法不需要一次将原数组中的内容全部加载到内存中，而这正是海量数据处理必然会面临的一个关卡。

                b)利用快速排序的分划函数找到分划位置K，则其前面的内容即为所求。该算法是一种非常有效的处理方式，时间复杂度是O(n)（证明可以参考算法导论书籍）。对于能一次加载到内存中的数组，该策略非常优秀。

        下面给出采用分划函数进行处理的代码：

import java.util.Scanner;

public class Main {
	
	public static void topK(int[] a,int k)
	{	
		int len = a.length;
		if(len <= k)	//数组元素个数小于k，则不需要处理
			return ;
		int low = 0;
		int high = len;
		int j = partition(a,low,high);	//找到划分位置j
		while(j!=k)	//划分位置不是k则继续处理
		{
			if(k > j)	//k在分划点后面部分
				low = j+1;
			else
				high = j;	//k在分划点前面部分
			j = partition(a,low,high);
		}
	}
	
	public static int partition(int[] a,int low,int high)	//分划函数
	{
		if(high <= low)
			return low;
		int i=low;
		int j=high;
		while(ia[low])	//从前往后找小于等于a[low]的元素
				i++;
			j--;
			while(j>=low && a[j]k)
			topK(a,k);
		if(k>=n)
			k = n;
		for(int i=0;i