【算法】海量数据处理：有一千万条短信，有重复，以文本形式保存，一行一条，找出重复最少的前10条
题目：有一千万条短信，有重复，以文本形式保存，一行一条，找出重复最少的前10条
思路：通过哈希表去重并统计出重复次数后，通过堆调整找出重复次数最少的前10条
参考文章：http://gengning938.blog.163.com/blog/static/128225381201161994028740/，代码有改动。
关于从n（n很大）个数字中查找前k个最小的数的方法，用堆调整的方法，具体参见：
http://www.oschina.net/code/snippet_180974_6371和我之前的一篇博客：【数据结构】堆排序
下面给出经过改动的代码，编译是通过的。如果任何地方有什么纰漏之处，敬请指正。
#include<iostream>
#include<fstream>
#include<stdlib.h>
#include<malloc.h>
using namespace std;
const int ERROR=0;
struct LinkHash
{
LinkHash *next;
//用来装填短信息的内容
char msg[10];
int count;
};
struct SData
{
char msg[10];
int count;
};
//哈希函数，将一条短信息转成0~99的某值：[0,99] = f(短信息)
int Hash_Func(char const *p)
{
int value=0;
while(*p!='\0')
{
value=*p+value;
p++;
}
return value%100;
}
class CHashTable
{
private:
LinkHash *HashTable[100];
public:
CHashTable();
~CHashTable();
void HashCollision(char const *p);
void WriteToFile();
};
CHashTable::CHashTable()
{
int i;
for(i=0;i<100;i++)
{
HashTable[i]=(LinkHash*)malloc(sizeof(LinkHash));
if(!HashTable[i])
exit(ERROR);
//初始化
HashTable[i]->next=NULL;
memset(HashTable[i]->msg, 0 , 10);
HashTable[i]->count=0;
}
}
CHashTable::~CHashTable()
{
//释放开辟的内存空间(释放链接表)
int i;
LinkHash* p,*q;
for(i=0; i<100; i++)
{
p = HashTable[i];
while(p != NULL)
{
q = p;
p = p->next;
free(q);
}
}
}
void CHashTable::HashCollision(char const *p)
{
int pos;
LinkHash *head,*mobile,*newNode,*last;
pos = Hash_Func(p);
head = HashTable[pos];
bool flag = false;
if(head->count == 0)
{
strcpy(head->msg,p);
head->count++;
}
else
{
mobile = head;
while(mobile!=NULL)
{
if(flag==false && strcmp(mobile->msg,p) == 0)
{
mobile->count++;
flag = true;
//break;//不用break是为了取得链表尾部指针
}
last = mobile;
mobile = mobile->next;
}
if(flag == false)
{
newNode = (LinkHash *)malloc(sizeof(LinkHash));
if(!newNode)
exit(ERROR);
newNode->next = NULL;
strcpy(newNode->msg,p);
newNode->count = 1;
last->next = newNode;
}
}
}
//将原短信去重后统计出重复次数后写入result.txt文件中
void CHashTable::WriteToFile()
{
int i;
ofstream fout;
LinkHash *p;
fout.open("result.txt");//应写明正确路径
for(i=0; i<100; i++)
{
p=HashTable[i];
while(p)
{
fout<<p->msg<<" "<<p->count<<endl;
p=p->next;
}
}
fout.clear();
fout.close();
}
//以下几个函数为完成查找n个数中（n很大）最小的前k个数
//最大堆调整
void swap(SData *a, SData *b)
{
SData temp;
temp = *a;
*a = *b;
*b = temp;
}
void HeapAdjust(SData *a,int i,int size) //调整堆
{
int lchild=2*i; //i的左孩子节点序号
int rchild=2*i+1; //i的右孩子节点序号
int max=i; //临时变量
if(i<=size/2) //如果i不是叶节点就不用进行调整
{
if(lchild<=size&&a[lchild].count>a[max].count)
{
max=lchild;
}
if(rchild<=size&&a[rchild].count>a[max].count)
{
max=rchild;
}
if(max!=i)
{
swap(&a[i],&a[max]);
HeapAdjust(a,max,size); //避免调整之后以max为父节点的子树不是堆
}
}
}
void BuildHeap(SData *a,int size) //建立堆
{
int i;
for(i=size/2;i>=1;i--) //非叶节点最大序号值为size/2
{
HeapAdjust(a,i,size);
}
}
int main()
{
int i;
const int k=10;
char instr[10];
SData Array[k+1];
ifstream fin;
ofstream fout;
SData InData;
/*fout.open("MessageData.txt");
for(i=0;i<10000000;i++)//随机生成重复的短信，短信简化为三个字母
{
for(j=0;j<3;j++)
str[j]='A'+rand()%10;
str[3]='\0';
fout<<str<<"\r\n";
}
fout.close();*/
CHashTable cht=CHashTable();
//MessageData.txt为存放海量信息的文本
fin.open("MessageData.txt");
if(fin.is_open())
{
while(fin>>instr)//将原短信文档读入并通过hash表处理
{
cht.HashCollision(instr);
}
}
fin.close();
fin.clear();
//该函数将短信息以一定格式（如：我爱米老鼠 3453）写在result.txt中。
cht.WriteToFile();
//从result.txt中读取数据
fin.open("result.txt");
if(fin.is_open())
{
for(i=1;i<=k;i++)//先读取前k个
{
fin>>Array[i].msg>>Array[i].count;
}
cout<<"建堆:"<<endl;
BuildHeap(Array,k);
fin>>InData.msg>>InData.count; //继续读取文件中后面的数
while(fin.fail()==false)//如果没有到文件尾
{
if(InData.count<Array[1].count)//如果读取的数小于现有的堆的堆顶元素，则交换
{
Array[1]=InData;
HeapAdjust(Array,1,k);//调整为堆
}
fin>>InData.msg>>InData.count;
}
}
//输出前k个数
for(i=1;i<=k;i++)
cout<<Array[i].msg<<" ------ "<<Array[i].count<<endl;
return 0;
}