Memcache高可用共享session,容纳100万人同时在线

企业网站用户数越来越多,同时在线人数越来越多,最大同时在线达100万之多,由于session文件是小文件存储,设想每个用户大概2K左右数据,NFS频繁读取导致IO成为瓶颈,虽然可以更改配置以分级目录的形式保持session但还是没有达到最优设计,但如果把session放在内存中,内存存取快速,就再也不用担心海量用户的压力了!

以下设计了以memcache为内存管理系统来设计的高可用,高负载,高性能的中央存储区之session共享

memcache版本采用repcached

下载地址:http://sourceforge.net/projects/repcached/files/

它是一个单master单 slave的方案，但它的 master/slave都是可读写的，而且可以相互同步，如果 master 宕机， slave侦测到连接断了，它会自动 listen而成为 master；但当master重新修复后只能以slave方式启动,表明master与slave之间相互不抢占!

如果 slave坏掉， master也会侦测到连接断，它就会重新 listen等待新的 slave加入。

安装测试

VIP:192.168.3.10

master:192.168.3.11

slave:192.168.3.12

关于VIP(keepalived+lvs)的安装方法请查询相关资料

安装PHP省略,自行查找相关资料

修改php.ini配置文件如下两行:

session.save_handler = memcache

session.save_path = "tcp://192.168.3.10:11211"  #此处是VIP地址

安装memcache,由于memcache依赖libevent库,无阻塞socket通信

安装libevent

# wget -c http://soft.vpser.net/lib/libevent/libevent-2.0.13-stable.tar.gz
# tar zxvf libevent-2.0.13-stable.tar.gz
# cd libevent-2.0.13-stable/
# ./configure --prefix=/usr/local/libevent
# make&& make install

# echo "/usr/local/libevent/lib/" >> /etc/ld.so.conf
# ln -s /usr/local/libevent/lib/libevent-2.0.so.5  /lib/libevent-2.0.so.5
# ldconfig

安装repcached  

# wget http://nchc.dl.sourceforge.net/project/repcached/repcached/2.2.1-1.2.8/memcached-1.2.8-repcached-2.2.1.tar.gz

# tar zxvf memcached-1.2.8-repcached-2.2.1.tar.gz

# cd memcached-1.2.8-repcached-2.2.1

# ./configure --prefix=/usr/local/repcached --enable-replication   

# --enable-64bit 在64位系统下./configure  -h 查看配置帮助

# make && make install

# ln /usr/local/repcached/bin/memcached /usr/bin/memcached  #硬链接

###安装完毕#####

repcached深度兼容memcache协议

在 Memcached中可以保存的item数据量是没有限制的，只要内存足够 。
Memcached以单进程多线程方式运行,32位中最大使用内存为2G，这个由于内核限制,在64位中取决于物理内存限制,
在32位中要使用更多内存，可以分多个端口开启多个Memcached进程 
最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA  60*60*24*30控制 
最大键长为250字节，大于该长度无法存储，常量KEY_MAX_LENGTH 250控制 
单个item最大数据是1MB，超过1MB数据不予存储返回false，常量POWER_BLOCK 1048576进行控制， 
它是默认的slab大小 最大同时连接数是200，通过 conn_init()中的freetotal进行控制，最大软连接数是1024，
通过 settings.maxconns=1024 进行控制 ,需要说明的一点是memcache处理请求是以队列形式处理的
跟空间占用相关的参数：settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步长比
memcached是一种无阻塞的socket通信方式服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快。
memcached分服务器端和客户端，可以配置多个服务器端和客户端，应用于分布式的服务非常广泛。
memcached作为小规模的数据分布式平台是十分有效果的。
memcached是键值一一对应，key默认最大不能超过128个字 节，value默认大小是1M，也就是一个slabs，如果要存2M的值（连续的），不能用两个slabs，因为两个slabs不是连续的，无法在内存中 存储，故需要修改slabs的大小，多个key和value进行存储时，即使这个slabs没有利用完，那么也不会存放别的数据。
memcache假定设置64m内存占用,当内存已满时采用LRU算法(最近最少使用)进行剔除旧数据然后存储新数据

####################################################################

memcache 如果分配2G内存,以每个用户2K数据计算,512*2048≈100万人在线,由于memcache自身也点用一定内存,

实际2G内存可能只有80%利用1.6G,如果分配2G内存,基本可以保持100万人在线,session存在memcache的另一个好处是

不用担心过期session过多的删除问题,memcache自动过期,自动LRU剔除

启动master (192.168.3.11)

# memcached -u root -p 11211 -m 2048 -d -c 1024  ###memcached -h 查看参数文档

启动slave (192.168.3.12)

# memcached -u root -p 11211 -m 2048 -d -c 1024  -x 192.168.3.11 -X 11212

### -x master主机IP,-X是与master复制端口相匹配11212(重点),11212端口是master启动侦听slave通信的默认端口

测试读取

telnet 192.168.1.11 11211 ##telnet 方式连接

set key 0 0 3

aaa

STORED

get key
VALUE key 0 3
aaa
END

####master 成功

telnet 192.168.1.12 11211

get key
VALUE key 0 3
aaa
END

####slave数据同步成功

###可停止master试试,slave会自动升级为master

####PHP测试

<?php

$m=new memcache();

$m->connect('192.168.1.10',11211); ##此处连接VIP地址

$m->set('key1','value',0,3600);

$m->set('key2',array(1,2,3),0,3600);

####################################

memcache默认连接1秒超时,设置过大失去缓存意义,数据最大1M也是基于此点考虑,当内存使用超过1G后数据太大导致超时无法命中继而导致缓存刺穿压到后方的DB

memcache只能存储字符串与数组,字符串直接存储,数组自动序列化后存储

文件,图片,视频需要打成二进制后再存储, 资源连接不能保存,如mysqli连接,fopen指针

#######################################

$data=$m->get('key1');

echo $data;

?>

以上设计了100万人同时在线高速方案(新浪微博),可防止单点故障,缓存刺穿,由于大数据流通普通的100M网卡可能承受不住,建议换千兆网卡