memcached大数据内存读取

   1       Memcache是什么

Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。

它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。

为什么会有Memcache和memcached两种名称？

其实Memcache是这个项目的名称，而memcached是它服务器端的主程序文件名，

Memcache官方网站：http://www.danga.com/memcached，

 

2       Memcache工作原理

首先 memcached 是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，客户端可以由各种语言编写，目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。客户端在与 memcached 服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符 key，存取操作均通过这个 key 进行，保存到 memcached 中的对象实际上是放置内存中的，并不是保存在 cache 文件中的，这也是为什么 memcached 能够如此高效快速的原因。注意，这些对象并不是持久的，服务停止之后，里边的数据就会丢失。

与许多 cache 工具类似，Memcached 的原理并不复杂。它采用了C/S的模式，在 server 端启动服务进程，在启动时可以指定监听的 ip，自己的端口号，所使用的内存大小等几个关键参数。一旦启动，服务就一直处于可用状态。Memcached 的目前版本是通过C实现，采用了单进程，单线程，异步I/O，基于事件 (event_based) 的服务方式.使用 libevent 作为事件通知实现。多个 Server 可以协同工作，但这些 Server 之间是没有任何通讯联系的，每个 Server 只是对自己的数据进行管理。Client 端通过指定 Server 端的 ip 地址(通过域名应该也可以)。需要缓存的对象或数据是以 key->value 对的形式保存在Server端。key 的值通过 hash 进行转换，根据 hash 值把 value 传递到对应的具体的某个 Server 上。当需要获取对象数据时，也根据 key 进行。首先对 key 进行 hash，通过获得的值可以确定它被保存在了哪台 Server 上，然后再向该 Server 发出请求。Client 端只需要知道保存 hash(key) 的值在哪台服务器上就可以了。

 

        其实说到底，memcache 的工作就是在专门的机器的内存里维护一张巨大的 hash 表，来存储经常被读写的一些数组与文件，从而极大的提高网站的运行效率。

一。下载地址

       http://download.csdn.net/detail/fengjunkuan2006/4801674

二。cmd下使用dos命令运行。首先cd到你的解压目录。然后memcached.exe -d install 回车安装

      memcached.exe -d start 开启服务(可在管理工具里面的服务项找到memcached服务)

1. 启动一个Memcache的服务器端 

进入到memcached的安装目录，如：

#cd /usr/local/memcached-1.4.5

# ./memcached -d start -m 2048 -u root -l 10.11.15.222 -p 12000 -c 256 -P /tmp/memcached.pid

开启一个占用2g内存的cached

?  -d  选项是启动一个守护进程，

?  -m  是分配给Memcache使用的内存数量，单位是MB，我这里是10MB，

?  -u  是运行Memcache的用户，我这里是root，

?  -l  是监听的服务器IP地址，我这里指定了服务器的IP地址10.11.15.222，

?  -p  是设置Memcache监听的端口，我这里设置了12000，最好是1024以上的端口，

?  -c  是最大运行的并发连接数，默认1024，这里设置了256，按照服务器的负载量来设定，

?  -P  是设置保存Memcache的pid文件，我这里是保存在/tmp/memcached.pid，

2. 结束一个Memcache进程 

如果要结束Memcache进程，执行：

# kill `cat /tmp/memcached.pid`

?  注意，上面命令中的符号是 `，不是单引号’

也可以启动多个守护进程，不过端口不能重复。

   常用设置：
-p <num>          监听的端口
-l <ip_addr>      连接的IP地址, 默认是本机
-d start          启动memcached服务
-d restart        重起memcached服务
-d stop|shutdown  关闭正在运行的memcached服务
-d install        安装memcached服务
-d uninstall      卸载memcached服务
-u <username>     以<username>的身份运行 (仅在以root运行的时候有效)
-m <num>          最大内存使用，单位MB。默认64MB
-M                内存耗尽时返回错误，而不是删除项
-c <num>          最大同时连接数，默认是1024
-f <factor>       块大小增长因子，默认是1.25
-n <bytes>        最小分配空间，key+value+flags默认是48
-h                显示帮助

三。windows下Memcached状态查看方法(telnet没开自己出门右拐google)
CMD telnet 127.0.0.1 11211
stats命令
得到的数据的意义如下：
pid：32u，服务器进程ID。 
uptime：32u， 服务器运行时间，单位秒。 
time ：32u， 服务器当前的UNIX时间。
version ：string， 服务器的版本号。 
curr_items ：32u， 服务器当前存储的内容数量 Current number of items stored by the server 
total_items ：32u， 服务器启动以来存储过的内容总数。
bytes ：64u， 服务器当前存储内容所占用的字节数。
curr_connections ：32u， 连接数量。 
total_connections ：32u， 服务器运行以来接受的连接总数。
connection_structures：32u， 服务器分配的连接结构的数量。 
cmd_get ：32u， 取回请求总数。 
cmd_set ：32u， 存储请求总数。 
get_hits ：32u， 请求成功的总次数。
get_misses ：32u， 请求失败的总次数。
bytes_read ：64u， 服务器从网络读取到的总字节数。
bytes_written ：64u， 服务器向网络发送的总字节数。
limit_maxbytes ：32u， 服务器在存储时被允许使用的字节总数。
上面的描述中32u和64u表示32位和64位无符号整数，string表示是string类型数据。
在本篇中我们通过Socket而不是Telnet连接到Memcached，然后解析返回的数据。

2、 如果在安装时没有添加参数，可通过修改注册表信息进行设置，打开注册表，找 
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\memcached 
在其中有一个“ImagePath”项，值为： 
"C:\Memcached\memcached-win32-1.4.4-14\memcached.exe" -d runservice 
在后面加上“-m 1024 -c2048”。如下图： 

四。

JAVA客户端应用
先下载 java_memcached-release_2.5.1.jar 包，放入lib下

Manager类

import java.util.Date;

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;

public class MemCachedManager {

    // 创建全局的唯一实例
    protected static MemCachedClient mcc = new MemCachedClient();

    protected static MemCachedManager memCachedManager = new MemCachedManager();

    // 设置与缓存服务器的连接池
    static {
        // 服务器列表和其权重
        String[] servers = { "127.0.0.1:11211" };
        Integer[] weights = { 3 };

        // 获取socke连接池的实例对象
        SockIOPool pool = SockIOPool.getInstance();

        // 设置服务器信息
        pool.setServers(servers);
        pool.setWeights(weights);

        // 设置初始连接数、最小和最大连接数以及最大处理时间
        pool.setInitConn(5);
        pool.setMinConn(5);
        pool.setMaxConn(250);
        pool.setMaxIdle(1000 * 60 * 60 * 6);

        // 设置主线程的睡眠时间
        pool.setMaintSleep(30);

        // 设置TCP的参数，连接超时等
        pool.setNagle(false);
        pool.setSocketTO(3000);
        pool.setSocketConnectTO(0);

        // 初始化连接池
        pool.initialize();

        // 压缩设置，超过指定大小（单位为K）的数据都会被压缩
        mcc.setCompressEnable(true);
        mcc.setCompressThreshold(64 * 1024);
    }

    /**
     * 保护型构造方法，不允许实例化！
     * 
     */
    protected MemCachedManager() {

    }

    /**
     * 获取唯一实例.
     * 
     * @return
     */
    public static MemCachedManager getInstance() {
        return memCachedManager;
    }

    /**
     * 添加一个指定的值到缓存中.
     * 
     * @param key
     * @param value
     * @return
     */
    public boolean add(String key, Object value) {
        return mcc.add(key, value);
    }

    public boolean add(String key, Object value, Date expiry) {
        return mcc.add(key, value, expiry);
    }

    public boolean replace(String key, Object value) {
        return mcc.replace(key, value);
    }

    public boolean replace(String key, Object value, Date expiry) {
        return mcc.replace(key, value, expiry);
    }

    /**
     * 根据指定的关键字获取对象.
     * 
     * @param key
     * @return
     */
    public Object get(String key) {
        return mcc.get(key);
    }

    public static void main(String[] args) {
        MemCachedManager cache = MemCachedManager.getInstance();
        cache.add("hello", 234);
        System.out.print("get value : " + cache.get("hello"));
    }
}

五。

使用telnet命令语句查看：

1）cmd中输入telnet 192.168.88.137 11211(自己memcached地址及端口号)

2）输入命令stats，查看 STAT curr_items 数量，增加、修改、删除此数量随之变化

具体memcached输入stats命令解释如下：（转载：http://www.cnblogs.com/suger/archive/2011/09/06/2168319.html）

STAT pid 1552

STAT uptime 3792

STAT time 1262517674

STAT version 1.2.6

STAT pointer_size 32

STAT curr_items 1

STAT total_items 2

STAT bytes 593

STAT curr_connections 2

STAT total_connections 28

STAT connection_structures 9

STAT cmd_get 3

STAT cmd_set 2

STAT get_hits 2

STAT get_misses 1

STAT evictions 0

STAT bytes_read 1284

STAT bytes_written 5362

STAT limit_maxbytes 67108864

STAT threads 1

END

这里显示了很多状态信息，下边详细解释每个状态项：

1.  pid: memcached服务进程的进程ID

2.  uptime: memcached服务从启动到当前所经过的时间，单位是秒。

3.  time: memcached服务器所在主机当前系统的时间，单位是秒。

4.  version: memcached组件的版本。这里是我当前使用的1.2.6。

5.  pointer_size：服务器所在主机操作系统的指针大小，一般为32或64.

6.  curr_items：表示当前缓存中存放的所有缓存对象的数量。不包括目前已经从缓存中删除的对象。

7.  total_items：表示从memcached服务启动到当前时间，系统存储过的所有对象的数量，包括目前已经从缓存中删除的对象。

8.  bytes：表示系统存储缓存对象所使用的存储空间，单位为字节。

9.  curr_connections：表示当前系统打开的连接数。

10. total_connections：表示从memcached服务启动到当前时间，系统打开过的连接的总数。

11. connection_structures：表示从memcached服务启动到当前时间，被服务器分配的连接结构的数量，这个解释是协议文档给的，具体什么意思，我目前还没搞明白。

12. cmd_get：累积获取数据的数量，这里是3，因为我测试过3次，第一次因为没有序列化对象，所以获取数据失败，是null，后边有2次是我用不同对象测试了2次。

13. cmd_set：累积保存数据的树立数量，这里是2.虽然我存储了3次，但是第一次因为没有序列化，所以没有保存到缓存，也就没有记录。

14. get_hits：表示获取数据成功的次数。

15. get_misses：表示获取数据失败的次数。

16. evictions：为了给新的数据项目释放空间，从缓存移除的缓存对象的数目。比如超过缓存大小时根据LRU算法移除的对象，以及过期的对象。

17. bytes_read：memcached服务器从网络读取的总的字节数。

18. bytes_written：memcached服务器发送到网络的总的字节数。

19. limit_maxbytes：memcached服务缓存允许使用的最大字节数。这里为67108864字节，也就是是64M.与我们启动memcached服务设置的大小一致。

20. threads：被请求的工作线程的总数量。这个解释是协议文档给的，具体什么意思，我目前还没搞明白。