服务端使用的 memcached 版本为 memcached-1.4.20,libevent 版本为 libevent-2.0.21-stable
安装方法见 :http://lucien-zzy.iteye.com/blog/2112490
一、概念
Memcached是danga.com(运营LiveJournal的技术团队)开发的一套分布式内存对象缓存系统,用于在动态系统中减少数据库负载,提升性能。
采用c编写的一种集中式的cache,支持分布式横向扩展。
memcached服务端本身是单实例的,只是在客户端实现的过程中可以根据存储的主键做分区存储。
内存存储:和cpu消耗高,内存消耗低的应用部署在一起;
集中式缓存:避开了分布式缓存的传播问题,但是需要非单点来保证可靠性,可以将多个memcached
作为一个虚拟的集群。
分布式扩展:采用了可分布式扩展的模式。可以将多个服务端组成一个虚拟的服务端。
socket通信:当前支持tcp和udp两种模式,可以根据客户端的不同使用nio的同步或异步调用方式。
特殊的内存分配机制:支持的最大存储对象为1m。
基于libevent的事件处理
二、适用场合
1.分布式应用。由于memcached本身基于分布式的系统,所以尤其适合大型的分布式系统。
2.数据库前段缓存。数据库常常是网站系统的瓶颈。数据库的大并发量访问,常常造成网站内存溢出。当然我们也可以使用Hibernate的缓存机制。但memcached是基于分布式的,并可独立于网站应用本身,所以更适合大型网站进行应用的拆分。
3.服务器间数据共享。举例来讲,我们将网站的登录系统、查询系统拆分为两个应用,放在 不同的服务器上,并进行集群,那这个时候用户登录后,登录信息如何从登录系统服务器同步到查询系统服务器呢?这时候,我们便可以使用memcached, 登录系统将登录信息缓存起来,查询系统便可以获得登录信息,就像获取本地信息一样。
三、不适用场合
那些不需要“分布”的,不需要共享的,或者干脆规模小到只有一台服务器的应用,memcached不会带来任何好处,相反还会拖慢系统效率,因为网络连接同样需要资源
以下为使用实例
所需jar包:
commons-pool-1.5.6.jar、java_memcached-release_2.6.6.jar、slf4j-api-1.6.1.jar、slf4j-simple-1.6.1.jar
参数配置memcached.properties
initConn=10 //初始连接数 minConn=10 //最小连接数 maxConn=20 //最大连接数 maxIdle=3600000//最大处理时间 //设置连接池守护线程的睡眠时间 maintSleep=5000 //设置TCP参数,连接超时 nagle=false//TCP对于socket创建的算法 socketTO=3000//socket连接超时时间 socketConnectTO=0 //服务器出现问题时的自动修复(相当于事物) failover=true failback=true //心跳检查,确定服务器的状态 aliveCheck=true address=192.168.0.200//memcached服务端开的地址 port=1225//端口 weight=1//服务器权重,数量应保持一致
创建工具类
1.基于java_memcached-release_2.6.3
package com.hl.memcached.cache; import java.util.Date; import com.danga.MemCached.MemCachedClient; import com.danga.MemCached.SockIOPool; public class MyCache { public static void main(String[] args) { MemCachedClient client=new MemCachedClient(); String [] addr ={"127.0.0.1:11211"}; Integer [] weights = {3}; SockIOPool pool = SockIOPool.getInstance(); pool.setServers(addr); pool.setWeights(weights); pool.setInitConn(5); pool.setMinConn(5); pool.setMaxConn(200); pool.setMaxIdle(1000*30*30); pool.setMaintSleep(30); pool.setNagle(false); pool.setSocketTO(30); pool.setSocketConnectTO(0); pool.initialize(); // String [] s =pool.getServers(); client.setCompressEnable(true); client.setCompressThreshold(1000*1024); // 将数据放入缓存 client.set("test2","test2"); // 将数据放入缓存,并设置失效时间 Date date=new Date(2000000); client.set("test1","test1", date); // 删除缓存数据 // client.delete("test1"); // 获取缓存数据 String str =(String)client.get("test1"); System.out.println(str); } }
2. 基于alisoft-xplatform-asf-cache-2.5.1
1) 配置memcached.xml
<?xml version="1.0" encoding="UTF-8"?> <memcached> <!-- name 属性是程序中使用Cache的唯一标识;socketpool 属性将会关联到后面的socketpool配置; --> <client name="mclient_0" compressEnable="true" defaultEncoding="UTF-8" socketpool="pool_0"> <!-- 可选,用来处理出错情况 --> <errorHandler>com.alisoft.xplatform.asf.cache.memcached.MemcachedErrorHandler </errorHandler> </client> <!-- name 属性和client 配置中的socketpool 属性相关联。 maintSleep属性是后台线程管理SocketIO池的检查间隔时间,如果设置为0,则表明不需要后台线程维护SocketIO线程池,默认需要管理。 socketTO 属性是Socket操作超时配置,单位ms。 aliveCheck 属性表示在使用Socket以前是否先检查Socket状态。 --> <socketpool name="pool_0" maintSleep="5000" socketTO="3000" failover="true" aliveCheck="true" initConn="5" minConn="5" maxConn="250" nagle="false"> <!-- 设置memcache服务端实例地址.多个地址用","隔开 --> <servers>127.0.0.1:11211</servers> <!-- 可选配置。表明了上面设置的服务器实例的Load权重. 例如 <weights>3,7</weights> 表示30% load 在 10.2.224.36:33001, 70% load 在 10.2.224.46:33001 <weights>3,7</weights> --> </socketpool> </memcached>
测试
package com.hl.memcached.client.test; import java.util.ArrayList; import java.util.List; import com.alisoft.xplatform.asf.cache.ICacheManager; import com.alisoft.xplatform.asf.cache.IMemcachedCache; import com.alisoft.xplatform.asf.cache.memcached.CacheUtil; import com.alisoft.xplatform.asf.cache.memcached.MemcachedCacheManager; import com.hl.memcached.cache.client.TestBean; public class ClientTest { @SuppressWarnings("unchecked") public static void main(String[] args) { ICacheManager<IMemcachedCache> manager; manager = CacheUtil.getCacheManager(IMemcachedCache.class, MemcachedCacheManager.class.getName()); manager.setConfigFile("memcached.xml"); manager.start(); try { IMemcachedCache cache = manager.getCache("mclient_0"); cache.put("key", "value"); System.out.println(cache.get("key")); } finally { manager.stop(); } } }
使用memcached缓存java bean自定义对象
Memcached可以缓存String,也可以缓存自定义java bean。但必须是可序列化的java bean(implements Serializable即可)
1. 基于java_memcached-release_2.6.3
测试用java bean
package com.hl.memcached.cache.client; import java.io.Serializable; public class TestBean implements Serializable{ private static final long serialVersionUID = 5344571864700659321L; private String name; private Integer age; //get、set方法略 }
MyCache.java 代码
package com.hl.memcached.cache; import java.util.Date; import com.danga.MemCached.MemCachedClient; import com.danga.MemCached.SockIOPool; public class MyCache { public static void main(String[] args) { MemCachedClient client=new MemCachedClient(); String [] addr ={"127.0.0.1:11211"}; Integer [] weights = {3}; SockIOPool pool = SockIOPool.getInstance(); pool.setServers(addr); pool.setWeights(weights); pool.setInitConn(5); pool.setMinConn(5); pool.setMaxConn(200); pool.setMaxIdle(1000*30*30); pool.setMaintSleep(30); pool.setNagle(false); pool.setSocketTO(30); pool.setSocketConnectTO(0); pool.initialize(); // String [] s =pool.getServers(); client.setCompressEnable(true); client.setCompressThreshold(1000*1024); // 将数据放入缓存 TestBean bean=new TestBean(); bean.setName("name1"); bean.setAge(25); client.add("bean1", bean); // 获取缓存数据 TestBean beanClient=(TestBean)client.get("bean1"); System.out.println(beanClient.getName()); } }
2. 基于alisoft-xplatform-asf-cache-2.5.1
package com.hl.memcached.client.test; import java.util.ArrayList; import java.util.List; import com.alisoft.xplatform.asf.cache.ICacheManager; import com.alisoft.xplatform.asf.cache.IMemcachedCache; import com.alisoft.xplatform.asf.cache.memcached.CacheUtil; import com.alisoft.xplatform.asf.cache.memcached.MemcachedCacheManager; import com.hl.memcached.cache.client.TestBean; public class ClientTest { @SuppressWarnings("unchecked") public static void main(String[] args) { ICacheManager<IMemcachedCache> manager; manager = CacheUtil.getCacheManager(IMemcachedCache.class, MemcachedCacheManager.class.getName()); manager.setConfigFile("memcached.xml"); manager.start(); try { IMemcachedCache cache = manager.getCache("mclient_0"); TestBean bean=new TestBean(); bean.setName("name1"); bean.setAge(25); cache.put("bean", bean); TestBean beanClient=(TestBean)cache.get("bean"); System.out.println(beanClient.getName()); List<TestBean> list=new ArrayList<TestBean>(); list.add(bean); cache.put("beanList", list); List<TestBean> listClient=(List<TestBean>)cache.get("beanList"); if(listClient.size()>0){ TestBean bean4List=listClient.get(0); System.out.println(bean4List.getName()); } } finally { manager.stop(); } } }
参考资料
http://www.infoq.com/cn/articles/memcached-java
http://my249645546.iteye.com/blog/1420061
优化
1. 尽量使用小容量的数据内容.
2. 增加memcached提高服务获取的内存总量、提高命中率。
3. 可以采用多个memcache服务进行侦听,分开处理,针对服务提供的频繁度划分服务内存
4. 根据服务器的性能不同设置权重 weights
5. 对需要使用memcache服务的机器ip,服务端做访问限制。
避免memcached里的数据不会被别有心意的人再利用,或责保证服务器的内存不被漫天遍地的垃圾数据所堆积,造成命中极低
6. 优化memcached客户端的代码。
synchronized 的问题
java memcached client源文件的大量方法里面都直接使用 synchronized 如 getConnection(), checkin() 等,而SockIOPool类似一个Singleton, 因此造成多线程失去了意义。同时 synchronized 方法里面又大量使用了 Hashtable 等synchronized保护的集合类。