TOP-K排序算法，从海量不重复数据中找出最大/小的K个数

如题，TOP-K排序的主要功能是找出一堆不重复数据中的最小或最大的几个数，此处我们介绍这种类型题目的某种解法：

最大最小堆，最大堆结构里面的每一个数不都是小于root的值么？和我们要解决的问题很像。由此，我们可以构造一个堆，并且用它来存储我们需要找的那几个数。有这么一个动态flash就很好地揭示了其中关系： top-k动画演示

关于什么是堆在此就不做介绍了，但注意，此处所用的的最大最小堆和数据结构的推排序的堆有区别，不再赘述。下面给出一个例子来供参考：（C++代码）

#include<stdio.h>
#include<iostream>
using namespace std;
struct min_heap{
    min_heap(int n){
        this->size=n;
        for(int i=0;i<size;i++) heap[i]=-1;
    }
    int size;
    int heap[100];
    void add(int n){
        if(n<=heap[0]) return;
        int tem=0;
        heap[0]=n;
        while(tem<size){
            if(2*tem+1>=size) break;
            if(2*tem+2>=size&&heap[tem]<heap[2*tem+1]) break;
            if(2*tem+2>=size&&heap[tem]>heap[2*tem+1]){
                int chan=heap[tem];
                heap[tem]=heap[2*tem+1];
                heap[2*tem+1]=chan;
                break;
            }
            if(heap[tem]<heap[2*tem+1]&&heap[tem]<heap[2*tem+2]) break;
            else{
                int min= 2*tem+1;
                if(heap[min]>heap[2*tem+2]) min=2*tem+2;
                int chan=heap[tem];
                heap[tem]=heap[min];
                heap[min]=chan;
                tem=min;
            }
        }
    }
    void print(){
        for(int i=0;i<size;i++){
            if(heap[i]>0) cout<<heap[i]<<" ";
        }
        cout<<endl;
    }

};


//测试用例：
int main(){
    int a[12]={145436,2234,113,4,5,6,7,8,9,23,45,67};
    min_heap* test=new min_heap(4);
    for(int i=0;i<12;i++){
        test->add(a[i]);
        test->print();
    }
    test->print();
    return 0;
}

 

结果如下图：

举个例子：

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。

大数据的题有这么一个模式：先hash缩小，然后hash统计，然后排序。

此题，内存只有2××20b，数据共2××30b，假设每个词皆2××4b，我们可以推出内存一次可以存2××16个数据，总数据2××26个，我们可以hash%1024分成1024堆（hash等于某值就存储之），每堆大小大约1M，在1024堆里面统计词频，然后用上述K-tops求出结果。

当然，也有可能出现某堆不止1m大小的情况，我们需要具体再细分下去，具体如何我们可以分情况讨论。