memcache知识汇总

1.Memcached概念：
    Memcached是一个免费开源的，高性能的，具有分布式对象的缓存系统，它可以用来保存一些经常存取的对象或数据，保存的数据像一张巨大的HASH表，该表以Key-value对的方式存在内存中。

官网下载地址： http://www.memcached.org/ 

协议理论：http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt  

2、如果请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，需要程序明确实现），路径操作为①②④⑤⑦⑥。 

2.emcached特征：
协议简单
   它是基于文本行的协议，直接通过telnet在memcached服务器上可进行存取数据操作
基于libevent事件处理
    Libevent是一套利用C开发的程序库，它将BSD系统的kqueue,Linux系统的epoll等事件处理功能封装成一个接口，与传统的select相比，提高了性能。
内置的内存管理方式
    所有数据都保存在内存中，存取数据比硬盘快，当内存满后，通过LRU算法自动删除不使用的缓存，但没有考虑数据的容灾问题，重启服务，所有数据会丢失。
分布式
   各个memcached服务器之间互不通信，各自独立存取数据，不共享任何信息。服务器并不具有分布式功能，分布式部署取决于memcache客户端 .

3.Memcached的内存算法：
    Memcached利用slab allocation机制来分配和管理内存，它按照预先规定的大小，将分配的内存分割成特定长度的内存块，再把尺寸相同的内存块分成组，数据在存放时，根据键值 大小去匹配slab大小，找就近的slab存放，所以存在空间浪费现象。
    传统的内存管理方式是，使用完通过malloc分配的内存后通过free来回收内存，这种方式容易产生内存碎片并降低操作系统对内存的管理效率。

4.Memcached的缓存策略：
    Memcached的缓存策略是LRU（最近最少使用）加上到期失效策略。当你在memcached内存储数据项时，你有可能会指定它在缓存的失效时间，默认为永久。当memcached服务器用完分配的内时，失效的数据被首先替换，然后也是最近未使用的数据。在LRU中，memcached使用的是一种Lazy Expiration策略，自己不会监控存入的key/vlue对是否过期，而是在获取key值时查看记录的时间戳，检查key/value对空间是否过期，这样可减轻服务器的负载。

5.Memcached的分布式算法：
    当向memcached集群存入/取出key/value时，memcached客户端程序根据一定的算法计算存入哪台服务器，然后再把key/value值存到此服务器中。也就是说，存取数据分二步走，第一步，选择服务器，第二步存取数据。

6.分布式算法(Consistent Hashing)：

    选择服务器算法有两种，一种是根据余数来计算分布，另一种是根据散列算法来计算分布。
余数算法：
    先求得键的整数散列值，再除以服务器台数，根据余数确定存取服务器，这种方法计算简单，高效，但在memcached服务器增加或减少时，几乎所有的缓存都会失效。
散列算法：
    先算出memcached服务器的散列值，并将其分布到0到2的32次方的圆上，然后用同样的方法算出存储数据的键的散列值并映射至圆上，最后从数据映射到的位置开始顺时针查找，将数据保存到查找到的第一个服务器上，如果超过2的32次方，依然找不到服务器，就将数据保存到第一台memcached服务器上。如果添加了一台memcached服务器，只在圆上增加服务器的逆时针方向的第一台服务器上的键会受到影响。

Memcache是什么
Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。
它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。
Memcache官方网站：http://www.danga.com/memcached，更多详细的信息可以来这里了解 :)

为什么会有Memcache和memcached两种名称？
其实Memcache是这个项目的名称，而memcached是它服务器端的主程序文件名，知道我的意思了把~~~~。一个是项目名称，一个是主程序文件名，在网上看到了很多人不明白，于是混用了。

Memcache的安装
分为两个过程：memcache服务器端的安装和memcached客户端的安装。
所谓服务器端的安装就是在服务器（一般都是linux系统）上安装Memcache实现数据的存储
所谓客户端的安装就是指php（或者其他程序，Memcache还有其他不错的api接口提供）去使用服务器端的Memcache提供的函数，需要php添加扩展。

具体的配置大家可以参考：
Linux下的Memcache安装：http://www.ccvita.com/257.html
Windows下的Memcache安装：http://www.ccvita.com/258.html
Memcache基础教程：http://www.ccvita.com/259.html
Discuz!的Memcache缓存实现：http://www.ccvita.com/261.html
Memcache协议中文版：http://www.ccvita.com/306.html
Memcache分布式部署方案：http://www.ccvita.com/395.html

PHP的Memcache

< ?php

//连接

$mem = new Memcache;

$mem->connect("192.168.0.200", 12000);

//保存数据

$mem->set('key1', 'This is first value', 0, 60);

$val = $mem->get('key1');

echo "Get key1 value: " . $val ." />";

//替换数据

$mem->replace('key1', 'This is replace value', 0, 60);

$val = $mem->get('key1');

echo "Get key1 value: " . $val . " />";

//保存数组

$arr = array('aaa', 'bbb', 'ccc', 'ddd');

$mem->set('key2', $arr, 0, 60);

$val2 = $mem->get('key2');

echo "Get key2 value: ";

print_r($val2);

echo " />";

//删除数据

$mem->delete('key1');

$val = $mem->get('key1');

echo "Get key1 value: " . $val . " />";

//清除所有数据

$mem->flush();

$val2 = $mem->get('key2');

echo "Get key2 value: ";

print_r($val2);

echo " />";

//关闭连接

$mem->close();

?>

如果正常的话，浏览器将输出：
Get key1 value: This is first value
Get key1 value: This is replace value
Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )
Get key1 value:
Get key2 value:

程序代码分析

初始化一个Memcache的对象：
$mem = new Memcache;

连接到我们的Memcache服务器端，第一个参数是服务器的IP地址，也可以是主机名，第二个参数是Memcache的开放的端口：
$mem->connect("192.168.0.200", 12000);

保存一个数据到Memcache服务器上，第一个参数是数据的key，用来定位一个数据，第二个参数是需要保存的数据内容，这里是一个字符串，第三个参数是一个标记，一般设置为0或者MEMCACHE_COMPRESSED就行了，第四个参数是数据的有效期，就是说数据在这个时间内是有效的，如果过去这个时间，那么会被Memcache服务器端清除掉这个数据，单位是秒，如果设置为0，则是永远有效，我们这里设置了60，就是一分钟有效时间：
$mem->set('key1', 'This is first value', 0, 60);

从Memcache服务器端获取一条数据，它只有一个参数，就是需要获取数据的key，我们这里是上一步设置的key1，现在获取这个数据后输出输出：
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

现在是使用replace方法来替换掉上面key1的值，replace方法的参数跟set是一样的，不过第一个参数key1是必须是要替换数据内容的key，最后输出了：
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

同样的，Memcache也是可以保存数组的，下面是在Memcache上面保存了一个数组，然后获取回来并输出
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
print_r($val2);

现在删除一个数据，使用delte接口，参数就是一个key，然后就能够把Memcache服务器这个key的数据删除，最后输出的时候没有结果
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "
";

最后我们把所有的保存在Memcache服务器上的数据都清除，会发现数据都没有了，最后输出key2的数据为空，最后关闭连接
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "
";

Memcache的使用
使用Memcache的网站一般流量都是比较大的，为了缓解数据库的压力，让Memcache作为一个缓存区域，把部分信息保存在内存中，在前端能够迅速的进行存取。那么一般的焦点就是集中在如何分担数据库压力和进行分布式，毕竟单台Memcache的内存容量的有限的。我这里简单提出我的个人看法，未经实践，权当参考。

分布式应用
Memcache本来支持分布式，我们客户端稍加改造，更好的支持。我们的key可以适当进行有规律的封装，比如以user为主的网站来说，每个用户都有User ID，那么可以按照固定的ID来进行提取和存取，比如1开头的用户保存在第一台Memcache服务器上，以2开头的用户的数据保存在第二胎Mecache服务器上，存取数据都先按照User ID来进行相应的转换和存取。

但是这个有缺点，就是需要对User ID进行判断，如果业务不一致，或者其他类型的应用，可能不是那么合适，那么可以根据自己的实际业务来进行考虑，或者去想更合适的方法。

减少数据库压力
这个算是比较重要的，所有的数据基本上都是保存在数据库当中的，每次频繁的存取数据库，导致数据库性能极具下降，无法同时服务更多的用户，比如MySQL，特别频繁的锁表，那么让Memcache来分担数据库的压力吧。我们需要一种改动比较小，并且能够不会大规模改变前端的方式来进行改变目前的架构。

我考虑的一种简单方法：
后端的数据库操作模块，把所有的Select操作提取出来（update/delete/insert不管），然后把对应的SQL进行相应的hash算法计算得出一个hash数据key（比如MD5或者SHA），然后把这个key去Memcache中查找数据，如果这个数据不存在，说明还没写入到缓存中，那么从数据库把数据提取出来，一个是数组类格式，然后把数据在set到Memcache中，key就是这个SQL的hash值，然后相应的设置一个失效时间，比如一个小时，那么一个小时中的数据都是从缓存中提取的，有效减少数据库的压力。缺点是数据不实时，当数据做了修改以后，无法实时到前端显示，并且还有可能对内存占用比较大，毕竟每次select出来的数据数量可能比较巨大，这个是需要考虑的因素。

Memcache的安全
我们上面的Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，我做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。

内网访问
最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。
# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid
Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接 设置防火墙
防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。
一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。
# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 --dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 --dport 11211 -j ACCEPT
上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。

本文章是整理收集而来，主要来源是：http://blog.csdn.net/heiyeshuwu/archive/2006/11/13/1380838.aspx

Memcache工作原理 

首先 memcached 是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，客户端可以由各种语言编写，目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。客户端在与 memcached 服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符 key，存取操作均通过这个 key 进行，保存到 memcached 中的对象实际上是放置内存中的，并不是保存在 cache 文件中的，这也是为什么 memcached 能够如此高效快速的原因。注意，这些对象并不是持久的，服务停止之后，里边的数据就会丢失。 

与许多 cache 工具类似，Memcached 的原理并不复杂。它采用了C/S的模式，在 server 端启动服务进程，在启动时可以指定监听的 ip，自己的端口号，所使用的内存大小等几个关键参数。一旦启动，服务就一直处于可用状态。Memcached 的目前版本是通过C实现，采用了单进程，单线程，异步I/O，基于事件 (event_based) 的服务方式.使用 libevent 作为事件通知实现。多个 Server 可以协同工作，但这些 Server 之间是没有任何通讯联系的，每个 Server 只是对自己的数据进行管理。Client 端通过指定 Server 端的 ip 地址(通过域名应该也可以)。需要缓存的对象或数据是以 key->value 对的形式保存在Server端。key 的值通过 hash 进行转换，根据 hash 值把 value 传递到对应的具体的某个 Server 上。当需要获取对象数据时，也根据 key 进行。首先对 key 进行 hash，通过获得的值可以确定它被保存在了哪台 Server 上，然后再向该 Server 发出请求。Client 端只需要知道保存 hash(key) 的值在哪台服务器上就可以了。  

Java代码   

1.         其实说到底，memcache 的工作就是在专门的机器的内存里维护一张巨大的 hash 表，来存储经常被读写的一些数组与文件，从而极大的提高网站的运行效率。  
2.   
3. memcache测试：  
4. package com.ctoall.core;  
5.   
6. import java.util.Date;  
7.   
8. import com.danga.MemCached.MemCachedClient;  
9. import com.danga.MemCached.SockIOPool;  
10.   
11. @SuppressWarnings("deprecation")  
12. public class MemCached {  
13.      // 创建全局的唯一实例  
14.     protected static MemCachedClient mcc = new MemCachedClient();  
15.       
16.     protected static MemCached memCached = new MemCached();  
17.     // 设置与缓存服务器的连接池  
18.     static {  
19.         // 服务器列表和其权重  
20.         String[] servers = {"192.168.0.92:11211"};  
21.         Integer[] weights = {3};  
22.   
23.         // 获取socket连接池的实例对象  
24.         SockIOPool pool = SockIOPool.getInstance();  
25.   
26.         // 设置服务器信息  
27.         pool.setServers( servers );  
28.         pool.setWeights( weights );  
29.   
30.         // 设置初始连接数、最小和最大连接数以及最大处理时间  
31.         pool.setInitConn( 5 );  
32.         pool.setMinConn( 5 );  
33.         pool.setMaxConn( 250 );  
34.         pool.setMaxIdle( 1000 * 60 * 60 * 6 );  
35.   
36.         // 设置主线程的睡眠时间  
37.         pool.setMaintSleep( 30 );  
38.   
39.         // 设置TCP的参数，连接超时等  
40.         pool.setNagle( false );  
41.         pool.setSocketTO( 3000 );  
42.         pool.setSocketConnectTO( 0 );  
43.   
44.         // 初始化连接池  
45.         pool.initialize();  
46.   
47.         // 压缩设置，超过指定大小（单位为K）的数据都会被压缩  
48.         mcc.setCompressEnable( true );  
49.         mcc.setCompressThreshold( 64 * 1024 );  
50.     }  
51.     /** 
52.      * 保护型构造方法，不允许实例化！ 
53.      * 
54.      */  
55.     protected MemCached()  
56.     {  
57.           
58.     }  
59.       
60.     /** 
61.      * 获取唯一实例. 
62.      * @return 
63.      */  
64.     public static MemCached getInstance()  
65.     {  
66.         return memCached;  
67.     }  
68.       
69.     /** 
70.      * 添加一个指定的值到缓存中. 
71.      * @param key 
72.      * @param value 
73.      * @return 
74.      */  
75.     public boolean add(String key, Object value)  
76.     {  
77.         return mcc.add(key, value);  
78.     }  
79.       
80.     public boolean add(String key, Object value, Date expiry)  
81.     {  
82.         return mcc.add(key, value, expiry);  
83.     }  
84.       
85.     public boolean replace(String key, Object value)  
86.     {  
87.         return mcc.replace(key, value);  
88.     }  
89.       
90.     public boolean replace(String key, Object value, Date expiry)  
91.     {  
92.         return mcc.replace(key, value, expiry);  
93.     }  
94.       
95.     /** 
96.      * 根据指定的关键字获取对象. 
97.      * @param key 
98.      * @return 
99.      */  
100.     public Object get(String key)  
101.     {  
102.         return mcc.get(key);  
103.     }  
104.       
105.     public static void main(String[] args)  
106.     {  
107.         MemCached cache = MemCached.getInstance();  
108.        StudentDO stuDO=new StudentDO();  
109.        stuDO.setId(10);  
110.        stuDO.setAge(28);  
111.        stuDO.setName("sunney");  
112.        stuDO.setAddress("广东省深圳市福田区梅华路105号多丽科技楼9楼");   
113.        cache.add("stu", stuDO);  
114.        StudentDO stuDO1=(StudentDO)cache.get("stu");  
115.        System.out.println("id:"+stuDO1.getId());  
116.        System.out.println("name:"+stuDO1.getName());  
117.        System.out.println("age:"+stuDO1.getAge());  
118.        System.out.println("adress:"+stuDO1.getAddress());  
119.        System.out.println("+++++++++++++++++++++++ok++++++++++++++++++++++++");  
120.               
121.     }  
122. }