海量数据处理系列——C语言下实现bitmap算法

海量数据处理系列——C语言下实现bitmap算法

分类: 算法用的基础知识   3161人阅读   评论(6)   收藏   举报

bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value, 而Key即是该元素。由于采用了Bit为单位来存储数据,因此在存储空间方面,可以大大节省。

如果说了这么多还没明白什么是Bit-map,那么我们来看一个具体的例子,假设我们要对0-7内的5个元素(4,7,2,5,3)排序(这里假设这些元素没有重复)。那么我们就可以采用Bit-map的方法来达到排序的目的。要表示8个数,我们就只需要8个Bit(1Bytes),首先我们开辟1Byte 的空间,将这些空间的所有Bit位都置为0(如下图:)

然后遍历这5个元素,首先第一个元素是4,那么就把4对应的位置为1(可以这样操作 p+(i/8)|(0x01<<(i%8)) 当然了这里的操作涉及到Big-ending和Little-ending的情况,这里默认为Big-ending),因为是从零开始的,所以要把第五位置为一(如下图):

然后再处理第二个元素7,将第八位置为1,,接着再处理第三个元素,一直到最后处理完所有的元素,将相应的位置为1,这时候的内存的Bit位的状态如下:

然后我们现在遍历一遍Bit区域,将该位是一的位的编号输出(2,3,4,5,7),这样就达到了排序的目的。下面的代码是用C语言实现的BitMap。

 

[cpp]   view plain copy
  1. bitmap.h  
  2.   
  3. /* 
  4.  *bitmap的c语言实现 
  5.  *作者:bitileaf 
  6.  *时间:2010-12-18 14:12 
  7.  */  
  8. #ifndef _BITMAP_H_  
  9. #define _BITMAP_H_  
  10.   
  11. /* 
  12.  *功能:初始化bitmap 
  13.  *参数: 
  14.  *size:bitmap的大小,即bit位的个数 
  15.  *start:起始值 
  16.  *返回值:0表示失败,1表示成功 
  17.  */  
  18. int bitmap_init(int size, int start);  
  19.   
  20. /* 
  21.  *功能:将值index的对应位设为1 
  22.  *index:要设的值 
  23.  *返回值:0表示失败,1表示成功 
  24.  */  
  25. int bitmap_set(int index);  
  26.   
  27. /* 
  28.  *功能:取bitmap第i位的值 
  29.  *i:待取位 
  30.  *返回值:-1表示失败,否则返回对应位的值 
  31.  */  
  32. int bitmap_get(int i);  
  33.   
  34. /* 
  35.  *功能:返回index位对应的值 
  36.  */  
  37. int bitmap_data(int index);  
  38.   
  39. /*释放内存*/  
  40. int bitmap_free();  
  41.   
  42. #endif  
  43.    
  44. bitmap.c  
  45.   
  46. #include <stdio.h>  
  47. #include <stdlib.h>  
  48. #include <string.h>  
  49. #include "bitmap.h"  
  50.   
  51. unsigned char *g_bitmap = NULL;  
  52. int g_size = 0;  
  53. int g_base = 0;  
  54.   
  55. int bitmap_init(int size, int start)  
  56. {  
  57.     g_bitmap = (char *)malloc((size/8+1)*sizeof(char));  
  58.     if(g_bitmap == NULL)  
  59.         return 0;  
  60.     g_base = start;  
  61.     g_size = size/8+1;  
  62.     memset(g_bitmap, 0x0, g_size);  
  63.     return 1;  
  64. }  
  65.   
  66. int bitmap_set(int index)  
  67. {  
  68.     int quo = (index-g_base)/8 ;  
  69.     int remainder = (index-g_base)%8;  
  70.     unsigned char x = (0x1<<remainder);  
  71.     if( quo > g_size)  
  72.         return 0;  
  73.     g_bitmap[quo] |= x;  
  74.     return 1;   
  75. }  
  76.   
  77. int bitmap_get(int i)  
  78. {  
  79.     int quo = (i)/8 ;  
  80.     int remainder = (i)%8;  
  81.     unsigned char x = (0x1<<remainder);  
  82.     unsigned char res;  
  83.     if( quo > g_size)  
  84.         return -1;  
  85.     res = g_bitmap[quo] & x;  
  86.     return res > 0 ? 1 : 0;   
  87. }  
  88.   
  89. int bitmap_data(int index)  
  90. {  
  91.     return (index + g_base);  
  92. }  
  93.   
  94. int bitmap_free()  
  95. {  
  96.     free(g_bitmap);  
  97. }  
  98.    
  99. 测试程序bitmap_test.c:  
  100.   
  101. #include <stdio.h>  
  102. #include "bitmap.h"  
  103.   
  104. int main()  
  105. {  
  106.     int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100};  
  107.     int i;  
  108.     bitmap_init(100, 0);  
  109.     for(i=0; i<20; i++)  
  110.         bitmap_set(a[i]);  
  111.     for(i=0; i<100; i++)  
  112.     {  
  113.         if(bitmap_get(i) > 0 )  
  114.             printf("%d ", bitmap_data(i));  
  115.     }  
  116.     printf("/n");  
  117.     bitmap_free();  
  118.     return 0;  
  119. }  
  120.    

 

执行结果:


[root@localhost bitmap]# make
gcc    -c -o bitmap_test.o bitmap_test.c
gcc bitmap.o bitmap_test.o  -o bitmap
[root@localhost bitmap]# ./bitmap
1 3 5 6 7 8 10 12 23 34 43 54 56 65 76 78 87 89 98 100


bitmap在对数据进行排序时,其复杂度为O(n)。当然这是拿空间换来的。与bitmap类似的还有Bloom filter,Bloom filter可以看做是对bit-map的扩展。

【问题实例】

1)已知某个文件内包含一些电话号码,每个号码为8位数字,统计不同号码的个数。

8位最多99 999 999,大概需要99m个bit,大概10几m字节的内存即可。 (可以理解为从0-99 999 999的数字,每个数字对应一个Bit位,所以只需要99M个Bit==1.2MBytes,这样,就用了小小的1.2M左右的内存表示了所有的8位数的电话)

2)2.5亿个整数中找出不重复的整数的个数,内存空间不足以容纳这2.5亿个整数。

将bit-map扩展一下,用2bit表示一个数即可,0表示未出现,1表示出现一次,2表示出现2次及以上,在遍历这些数的时候,如果对应位置的值是0,则将其置为1;如果是1,将其置为2;如果是2,则保持不变。或者我们不用2bit来进行表示,我们用两个bit-map即可模拟实现这个 2bit-map,都是一样的道理。

你可能感兴趣的:(bitmap)