Memcache工作原理

Memcache是什么 
Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。 

它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。 

    

为什么会有Memcache和memcached两种名称？ 

其实Memcache是这个项目的名称，而memcached是它服务器端的主程序文件名， 

   

Memcache官方网站： http://www.danga.com/memcached ， 


首先 memcached 是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，客户端可以由各种语言编写，目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。客户端在与 memcached 服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符 key，存取操作均通过这个 key 进行，保存到 memcached 中的对象实际上是放置内存中的，并不是保存在 cache 文件中的，这也是为什么 memcached 能够如此高效快速的原因。注意，这些对象并不是持久的，服务停止之后，里边的数据就会丢失。 


与许多 cache 工具类似，Memcached 的原理并不复杂。它采用了C/S的模式，在 server 端启动服务进程，在启动时可以指定监听的 ip，自己的端口号，所使用的内存大小等几个关键参数。一旦启动，服务就一直处于可用状态。Memcached 的目前版本是通过C实现，采用了单进程，单线程，异步I/O，基于事件 (event_based) 的服务方式.使用 libevent 作为事件通知实现。多个 Server 可以协同工作，但这些 Server 之间是没有任何通讯联系的，每个 Server 只是对自己的数据进行管理。Client 端通过指定 Server 端的 ip 地址(通过域名应该也可以)。需要缓存的对象或数据是以 key->value 对的形式保存在Server端。key 的值通过 hash 进行转换，根据 hash 值把 value 传递到对应的具体的某个 Server 上。当需要获取对象数据时，也根据 key 进行。首先对 key 进行 hash，通过获得的值可以确定它被保存在了哪台 Server 上，然后再向该 Server 发出请求。Client 端只需要知道保存 hash(key) 的值在哪台服务器上就可以了。 


        其实说到底，memcache 的工作就是在专门的机器的内存里维护一张巨大的 hash 表，来存储经常被读写的一些数组与文件，从而极大的提高网站的运行效率。 


3       如何使用 
建立Manager类 
package com.alisoft.sme.memcached; 

import java.util.Date; 

import com.danga.MemCached.MemCachedClient; 
import com.danga.MemCached.SockIOPool; 

public class MemCachedManager { 

// 创建全局的唯一实例 
protected static MemCachedClient mcc = new MemCachedClient(); 

protected static MemCachedManager memCachedManager = new MemCachedManager(); 

// 设置与缓存服务器的连接池 
static { 
   // 服务器列表和其权重 
   String[] servers = { "127.0.0.1:11211" }; 
   Integer[] weights = { 3 }; 

   // 获取socke连接池的实例对象 
   SockIOPool pool = SockIOPool.getInstance(); 

   // 设置服务器信息 
   pool.setServers(servers); 
   pool.setWeights(weights); 

   // 设置初始连接数、最小和最大连接数以及最大处理时间 
   pool.setInitConn(5); 
   pool.setMinConn(5); 
   pool.setMaxConn(250); 
   pool.setMaxIdle(1000 * 60 * 60 * 6); 

   // 设置主线程的睡眠时间 
   pool.setMaintSleep(30); 

   // 设置TCP的参数，连接超时等 
   pool.setNagle(false); 
   pool.setSocketTO(3000); 
   pool.setSocketConnectTO(0); 

   // 初始化连接池 
   pool.initialize(); 

   // 压缩设置，超过指定大小（单位为K）的数据都会被压缩 
   mcc.setCompressEnable(true); 
   mcc.setCompressThreshold(64 * 1024); 
} 

/** 
* 保护型构造方法，不允许实例化！ 
* 
*/ 
protected MemCachedManager() { 

} 

/** 
* 获取唯一实例. 
* 
* @return  
*/ 
public static MemCachedManager getInstance() { 
   return memCachedManager; 
} 

/** 
* 添加一个指定的值到缓存中. 
* 
* @param key 
* @param value 
* @return  
*/ 
public boolean add(String key, Object value) { 
   return mcc.add(key, value); 
} 

public boolean add(String key, Object value, Date expiry) { 
   return mcc.add(key, value, expiry); 
} 

public boolean replace(String key, Object value) { 
   return mcc.replace(key, value); 
} 

public boolean replace(String key, Object value, Date expiry) { 
   return mcc.replace(key, value, expiry); 
} 

/** 
* 根据指定的关键字获取对象. 
* 
* @param key 
* @return  
*/ 
public Object get(String key) { 
   return mcc.get(key); 
} 

public static void main(String[] args) { 
   MemCachedManager cache = MemCachedManager.getInstance(); 
   cache.add("hello", 234); 
   System.out.print("get value : " + cache.get("hello")); 
} 
} 




windows下memcache服务器启动  

将memcache服务器安装包解压到C:\memcached文件夹后，使用cmd命令窗口安装。 

1>开始>运行:CMD(确定) 

2>cd C:\memcached（回车） 

3>memcached -d install(回车 这步执行安装) 

4>memcached -d start(回车 这步执行启动memcache服务器，默认分配64M内存，使用11211端口) 

此时memcache服务器已经可以正常使用了。 

memcache服务器安全： 

Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。 

现在就关于修改memcache服务器配置的问题说明如下： 

1>用内网ip的方式提供web应用服务器调用，不允许直接通过外网调用，如将memcache服务器放在192.168.1.55的服务器上 

2>修改端口，如改为11200 

3>分配内存，如分配1024M(1G内存) 

方法如下： 



1>开始>运行:CMD(确定) 

2>cd C:\memcached（回车） 

3>memcached -m 1024 -p 11200 -l 192.168.1.55(回车) 

注意，此时命令行不会回到C:\memcached>状态，并且实际上memcache服务器悄悄变为stop状态了。此窗口不可以关闭。新开一个cmd窗口 

4>开始>运行:CMD(确定) 

5>cd C:\memcached（回车） 

6>memcached -d start(回车)可以关闭此cmd窗口。 

此时可以使用新配置的memcache服务器了。 



上述方法虽然解决了修改默认配置的问题，但是始终会有一个cmd窗口不可以关闭，否则就回到11211端口的默认配置。 

更好的解决方案是通过修改服务的注册表配置： 

1>开始>运行：regedit(回车) 

2>在注册表中找到：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\memcached Server 

3>默认的ImagePath键的值是："c:\memcached\memcached.exe" -d runservice，改为："c:\memcached\memcached.exe" -d runservice -m 512 -p  11200 -l 192.168.1.55（确定，关闭注册表） 

4>我的电脑（右键）>管理>服务 找到memcache的服务，重新启动一次即可生效。 



<script type="text/javascript"><!-- google_ad_client = "pub-6770445892601887"; /* 468x60, 创建于 09-11-19 */ google_ad_slot = "4437639877"; google_ad_width = 468; google_ad_height = 60; //--> </script><script type="text/javascript" src=" http://pagead2.googlesyndication.com/pagead/show_ads.js "> </script> 
此时，同网段内的电脑仍然可以利用这台memcache服务器，我们限定指定的web应用服务器才能够使用，通过防火墙的方式。如只允许 192.168.1.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。 



分析Memcached客户端如何把缓存数据分布到多个服务器上 

Memcached客户端可以设多个memcached服务器,它是如何把数据分发到各个服务器上，而使各个服务器负载平衡的呢？