libmemcached1.0.2 C/C++ API使用实例、测试及修改

from:http://blog.csdn.net/tankles/article/details/7208988

  memcached是一个分布式的缓存系统,且其分布式是一种“轻量级”的分布式,完全依赖客户端库来实现,libmemcached就是一个开源的C/C++库。



        使用libmemcached的C/C++ API客户端库资料及官方资料都很少,且网络上存在的C/C++ libmemcached实例都是采用的MOD的分布式算法,其缺点显而易见,当存在失效的memcached server或重新加入新的server时,容易造成系统的“震荡”。libmemcached本身已经支持一致性hash算法,一致性算法在处理“加入”或“删除”server方面具有优良的特性,这里就不具体分析了,请查阅一致性算法相关资料。

        今天对libmemcached-1.0.2版本的使用进行一个简单的测试,以使应用支持dead server的自动隔离和自动连接。

        libmemcached的C/C++ API使用及测试实例如下:

[cpp] view plain copy
  1. #include <stdio.h>    
  2. #include <stdlib.h>   
  3. #include <string.h>  
  4. #include <time.h>  
  5. #include <unistd.h>  
  6. #include <libmemcached/memcached.h>   
  7.   
  8. int main(int argc, char *argv[])   
  9. {   
  10.   memcached_st *memc;   
  11.   memcached_return rc;   
  12.   memcached_server_st *servers;   
  13.   
  14.   //connect multi server   
  15.   memc = memcached_create(NULL);   
  16.   
  17.   servers = memcached_server_list_append(NULL, (char*)"localhost", 11211, &rc);   
  18.   servers = memcached_server_list_append(servers, (char*)"localhost", 30000, &rc);   
  19.   
  20.   rc = memcached_server_push(memc, servers);  
  21.   memcached_server_free(servers);    
  22.    
  23.   memcached_behavior_set(memc,MEMCACHED_BEHAVIOR_DISTRIBUTION,MEMCACHED_DISTRIBUTION_CONSISTENT);  
  24.   memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_RETRY_TIMEOUT, 20) ;  
  25.   //  memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_REMOVE_FAILED_SERVERS, 1) ;  // 同时设置MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT 和 MEMCACHED_BEHAVIOR_AUTO_EJECT_HOSTS  
  26.   memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT, 5) ;  
  27.   memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_AUTO_EJECT_HOSTS, true) ;  
  28.   
  29.   int time_sl = 0 ;    
  30.   int times = 0 ;  
  31.   while(times++<100000)  
  32.   {  
  33.       //save data   
  34.       const char  *keys[]= {"key1""key2""key3","key4"};   
  35.       const  size_t key_length[]= {4, 4, 4, 4};   
  36.       char *values[] = {"This is 1 first value""This is 2 second value""This is 3 third value"," this is 4 forth value"};   
  37.       size_t val_length[]= {21, 22, 21, 22};  
  38.       int i = 0;  
  39.       for (; i < 4; i++)        
  40.       {  
  41.           rc = memcached_set(memc, keys[i], key_length[i], values[i], val_length[i], (time_t)180,(uint32_t)0);     printf("key: %s  rc:%s\n", keys[i], memcached_strerror(memc, rc));   // 输出状态        
  42.       }   
  43.     printf("time: %d\n", time_sl++) ;  
  44.     sleep(1) ;  
  45.         
  46.   }   
  47.      //free   
  48.       memcached_free(memc);   
  49.       return 0;   
  50. }  

        实例非常简单,但包含了使用libmemcached的基本流程:

        1)创建memcached_st结构;

        2)添加memcached server;

        3)设置libmemcached库的一些属性(hash算法,重试次数及重试时间等);

        4)调用基本的API(如get,set等)...;

        5)释放memcached_st结构;


       本实例的关键在于3)中设置libmemcached库的属性。

        只有一致性算法支持dead server的自动隔离和自动连接,参看run_distribution函数中只有分布式算法为MEMCACHED_DISTRIBUTION_CONSISTENT*类的才调用update_continuum进行更新,其它都没有任何操作,所以这里设置了memcached_behavior_set(memc,MEMCACHED_BEHAVIOR_DISTRIBUTION,MEMCACHED_DISTRIBUTION_CONSISTENT);

        run_distribution函数为自动隔离dead server的代码,其主要调用在backoff_handling函数中:

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第1张图片

调用条件同时满足:server->server_failure_counter >= server->root->server_failure_limit 和memcached_st结构的flag设置了MEMCACHED_BEHAVIOR_AUTO_EJECT_HOSTS标志,如果不设置MEMCACHED_BEHAVIOR_AUTO_EJECT_HOSTS标志,则每次set/get等操作都试图连接dead server。

     在函数update_continuum中,


next_retry小于当前时间时,则表示标志当前server有效,如果不设置默认为0,在backoff_handling函数中设置为1,永远小于当前时间,所以即使失效也不会自动剔除。MEMCACHED_BEHAVIOR_DEAD_TIMEOUT标志就是设置它的重试时间。

实验过程:

一、初始阶段:在同一虚拟机开启2个memcached server(端口分别为11211和30000)

             # memcached -vv -u root -p 11211

            #  memcached -vv -u root -p 30000

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第2张图片


二、启动测试程序

其中下面两行,表示当前servers包括2个:分别为:localhost:11211和localhost:30000,1和160分别表示weight和在一致性算法中每个server在圆上的点数。

     ketama_weighted:localhost|11211|1|160
     ketama_weighted:localhost|30000|1|160

 同样可以看出:key1、key2和key3映射到localhost:11211上,key4映射到localhost:30000上。

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第3张图片

正常情况下,会一直处于此状态下,下面模拟存在server down掉。


三、memcached server 失效和恢复

        起始是使用libmemcached-1.0.2进行的测试,发现存在明显的错误(至少2处),如果还没有升级或使用1.0.2版本的,那么可以直接使用1.0.3版本即可(写此文时的最新版本),否则需要尽快升级,很快官方发布了libmemcached-1.0.3版本,测试基本正常。

1、libmemcached-1.0.2版本测试图:

1)关闭memcached server,测试set失败情况

       在time:1339时刻停止了memcached server localhost:30000服务器,memcached_set结果返回SERVER HAS FAILED AND IS DISABLED UNTIL TIMED RETRY(使用memcached_strerror转换的错误信息),此时set、get等并不能实现重新映射到新的server,所以对于之前映射到localhost:11211上的数据,如果此server不恢复,将一直会set失败,get同样失败,不能实现dead server的自动剔除(这是个问题)。

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第4张图片

2)重新启动memcached server,测试重新连接情况:

        在time:1372时刻启动memcached server,在大致time:1381或1382时刻重新set key4成功,时间大致为20s,即MEMCACHED_BEHAVIOR_RETRY_TIMEOUT设置时间,也就是它的超时重试时间,当到达这个时间后会重新连接dead的server。

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第5张图片

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第6张图片

3)重新关闭memcached server,测试永久失效

       在time:1386时刻,关闭localhost:30000,此时key4设置失败,直到time:1471时刻,ketama_weighted:localhost|11211|1|160表示当前只有一个memcached server有效,且localhost:30000被标记为DEAD,之后key4映射到localhost:11211上。经过时间大致为:1471-1386=85s。

        经测试,之后即使重新启动localhost:30000服务器,永远也不能自动连接进来了(这是个问题)。

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第7张图片

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第8张图片

2、源码修改之后测试图:

      1)关闭memcached server,测试重新映射情况

        在time:10时刻,关闭localhost:30000,则key4设置失败,从失败次数可以看出失败5次后,localhost:30000被自动剔除,key4重新映射到localhost:11211上,这里的5就是测试用例中设置的:

             memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT, 5) ;

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第9张图片

2)重新启动memcached server,测试重新连接情况:

        在time:561时刻启动localhost:30000,在time:580时刻,localhost:30000自动连接,key4重新映射到其上,时间大概20s,即为设置的 memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_RETRY_TIMEOUT, 20) ;

        经测试,即使localhost:30000失效更长的时候,每个MEMCACHED_BEHAVIOR_RETRY_TIMEOUT时间都会重新尝试连接它,如果连接成功则自动恢复其映射。

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第10张图片

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第11张图片


3)在重试次数(这里为5次)内,如果memcached server恢复,则直接set/get数据成功

上图:time:548时刻,关闭localhost:30000;

中图:time:552时刻,重试4次时,重启启动localhost:30000;

下图:time:552时刻,成功连接到localhost:30000,set成功;

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第12张图片

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第13张图片

libmemcached1.0.2 C/C++ API使用实例、测试及修改_第14张图片


基于上面1.0.2版本提到的2个问题(或许有更多,或许称为不足),经过简单修改:

        第一个问题:backoff_handling函数中 server->server_failure_counter只增不减,导致一旦到达重试次数,它状态将不能恢复。这里将其重置为0:server->server_failure_counter= 0;

        所以这里的重试次数与通常我们理解的重试次数是不同的,这里是重试时间的次数,1.0.2版本中在”重试时间*重试次数“时间段内,任何映射到dead server上面的数据都失败,经过”重试时间*重试次数“的时间后,server自动隔离,此时设置成功的时候为”重试时间“,所以多数情况下,这些数据都处于不可用状态,导致性能很低。

        对第二个问题修改的总的原则是:快隔离,慢恢复!快隔离:如果存在server失效,则迅速将其自动剔除;避免set及get等操作失败持续时间较长(通常memcached应用于密集型操作set/get,所以快隔离还算合理)。慢恢复:失效的server启动后,并不是立即进行连接,需要经过MEMCACHED_BEHAVIOR_RETRY_TIMEOUT时间,以避免刚刚重新映射的数据立即失效(从理论来讲也不一定好,需要具体问题具体分析)。然后将”重试次数“理解为set、get等操作失败的次数,我的修改方案并不优雅,只是功能实现而已,这里就不贴图了,如果需要请自行查阅修改后的源码。

       上述版本在源码1.0.3版本中并不能获得预期的效果,在上述代码基础上,需要设置如下参数:

            memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_DEAD_TIMEOUT, 20) ;

        具体的测试类似于1.0.2版本。


你可能感兴趣的:(libmemcached1.0.2 C/C++ API使用实例、测试及修改)