基于 自定义注解 和 aop 实现使用memcache 对数据库的缓存

1.基于 自定义注解 和 aop 实现使用memcache 对数据库的缓存

公司老大让我研究 ocs 就是阿里云的 开放缓存服务 点击打开链接

其实就是一个memcache的服务

memchech 就是用内存来存放 key -value 在一些情况下就不必频繁的访问 数据库了(其实就是个map)

如何在常用的Dao中方便的使用这个map呢,我首先想到了 aop,然后又想到了自定义注解,那么就开始干吧。。。。


aop动态代理要使用的jar包如下

aspectjrt-1.6.12.jar(jdk7.0 需要这么高的版本,否则报错)
aspectjweaver-1.6.12.jar
cglib-nodep-2.2.jar

com.springsource.org.aopalliance-1.0.0.jar

和其他的spring包请自行搜索

spring加上这一行 开启自动代理:

?
1


我的spring配置

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
"http://www.springframework.org/schema/beans" xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" xmlns:context= "http://www.springframework.org/schema/context" xmlns:aop= "http://www.springframework.org/schema/aop" xmlns:tx= "http://www.springframework.org/schema/tx" xmlns:mvc= "http://www.springframework.org/schema/mvc"
     xsi:schemaLocation="
http: //www.springframework.org/schema/beans
http: //www.springframework.org/schema/beans/spring-beans-3.0.xsd
http: //www.springframework.org/schema/context
http: //www.springframework.org/schema/context/spring-context-3.0.xsd
http: //www.springframework.org/schema/aop
http: //www.springframework.org/schema/aop/spring-aop-3.0.xsd
http: //www.springframework.org/schema/tx
http: //www.springframework.org/schema/tx/spring-tx-3.0.xsd
http: //www.springframework.org/schema/mvc
http: //www.springframework.org/schema/mvc/spring-mvc-3.0.xsd
 
  ">
  
 
  package = "com.test" >
 
 
  
    
     


首先模拟一个 memCache 我写了一个工具类

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
package com.test.action;
 
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ExecutionException;
 
 
public class OcsUtil {
      
        
        private static Map "" > memMap= new HashMap "" >();
        //模拟
        public static void add(String key,Object val) throws IOException, InterruptedException, ExecutionException{
            memMap.put(key, val);
        }
        //模拟
        public static Object get(String key) throws IOException{
           return memMap.get(key);
        }
               
        
}

这个就暂时代替memCached吧。


dao层:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
package com.test.dao;
 
import org.springframework.stereotype.Repository;
 
import com.test.aop.MemCache;
 
 
@Repository
public class TestDao {
 
     
     @MemCache
     public Object selectKeyValue(String arg1,Integer arg2){    
         return "12345" ;
     }
}

两个参数随便写的,这样用来模拟真实情况下的多个查询参数

方法名上的@MemCache 注解 就是我自己定义的注解,当拥有这个注解的方法在调用时首先会在memCache中去找,这样就提高了性能

自定义注解如下:

?
1
2
3
4
5
6
7
8
9
10
package com.test.aop;
 
import java.lang.annotation.*;
import static java.lang.annotation.ElementType.*;
 
@Target ({METHOD})
@Retention (RetentionPolicy.CLASS)
public @interface MemCache {
 
}

我们要做的就是用aop拦截 拥有@MemCache注解的方法,然后处理它。下面是aop拦截器

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
package com.test.aop;
 
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.springframework.stereotype.Component;
 
import com.google.gson.Gson;
import com.test.action.OcsUtil;
 
@Component
@Aspect
public class MemCacheInterceptor {
     private Gson gson= new Gson();
     
     @Pointcut ( "execution(* com.test.dao.TestDao.select*(..))&& @annotation(com.test.aop.MemCache)" )
     private void theMethod(){} //定义一个切入点
     
     
     
     
     @Around ( "theMethod()" )
     public Object doBasicProfiling(ProceedingJoinPoint pjp) throws Throwable{
     
         String  key=pjp.getSignature().toString();
         key+=gson.toJson(pjp.getArgs());       
         
         Object memValue=OcsUtil.get(key);
         
         if (memValue!= null ){
             System.out.println( "memcache获取到" );
             return memValue;           
         }
         Object object = pjp.proceed(); //执行该方法
         
         OcsUtil.add(key, object+ " cache" );
         System.out.println( "db获取" );
         return object;
     }
}



*1为了测试我在memCache中放的时候追加了一个字符串 “ cache”

这个拦截器 使用 “方法的签名” 和 “参数转换成的json字符串” 作为 memCache的key

就像这个样子 Object com.test.dao.TestDao.selectKeyValue(String,Integer)["1",2]

这样就可以保证memCache的存取与dao的操作对应了

这样就大功告成了


2.利用Spring AOP 更新memcached 缓存策略的实现

对于网上关于memcached缓存更新策略 数不胜数,但是没有一遍完整的,看起来都很费劲,由于项目中用到的memcache,自然就想到了memcache缓存更新策略的实现。

你可以把你更新缓存的代码嵌套你的代码中,但是这样很不好,混换了你service的代码,要是以后再换别的缓存产品,那么你还要每个类去找,去修改很是麻烦。由于之前是这样写的,很是痛苦,所以这次要用spring aop来实现。

在做本次试验之前 ,首先要准备好memcache,具体安装步骤请参考:http://blog.csdn.net/ajun_studio/article/details/6745341      

了解memcache,请参考:对memcached使用的总结和使用场景 


下面说以下具体更新策略的实现思路:

首先我们会定义两个注解类,来说明是插入(Cache)缓存还是删除(Flush)缓存,这两个类可以方法上,来对你service需要进行缓存方法操作进行注解标记,注解类内用key的前缀,和缓存的有效时间,接着spring aop 拦截service层含有这个两个注解的方法,获得key的前缀+方法明+参数组装成key值,存入到一张临时表内,如果是Cache注解的话,先判断,缓冲中有没,有从缓存中取得,没有从数据库中查询,然后存缓存,返回结果。如果是Flush注解,说明是删除缓存,那么首先获得注解中key值的前缀,查询库中所以以这个为前缀的key,查询出来 ,删除数据库中的数据,最后在删除缓存中所有的符合这些key的缓存,来达到更新缓存。另外这张临时表,可以做个定时任务日终的时候 ,删除一些无用的数据。

具体代码:

 Cache注解

[java]  view plain copy print ?
  1. package com.woaika.loan.commons.annotation;  
  2.   
  3. import java.lang.annotation.Documented;  
  4. import java.lang.annotation.ElementType;  
  5. import java.lang.annotation.Inherited;  
  6. import java.lang.annotation.Retention;  
  7. import java.lang.annotation.RetentionPolicy;  
  8. import java.lang.annotation.Target;  
  9.   
  10. /** 
  11.  * 用于在查询的时候 ,放置缓存信息 
  12.  * @author ajun 
  13.  * @email [email protected] 
  14.  * @blog http://blog.csdn.net/ajun_studio 
  15.  * 2012-2-27 上午10:42:06 
  16.  */  
  17. @Target(ElementType.METHOD)     
  18. @Retention(RetentionPolicy.RUNTIME)      
  19. @Documented      
  20. @Inherited   
  21. public @interface Cache {  
  22.       
  23.     String prefix();//key的前缀,如咨询:zx  
  24.   
  25.     long expiration() default 1000*60*60*2;//缓存有效期 1000*60*60*2==2小时过期  
  26.       
  27.       
  28. }  

Flush注解


[java]  view plain copy print ?
  1. package com.woaika.loan.commons.annotation;  
  2.   
  3. import java.lang.annotation.Documented;  
  4. import java.lang.annotation.ElementType;  
  5. import java.lang.annotation.Inherited;  
  6. import java.lang.annotation.Retention;  
  7. import java.lang.annotation.RetentionPolicy;  
  8. import java.lang.annotation.Target;  
  9.   
  10. /** 
  11.  * 用于删除缓存 
  12.  * @author ajun 
  13.  * @email [email protected] 
  14.  * @blog http://blog.csdn.net/ajun_studio 
  15.  * 2012-2-27 上午10:53:03 
  16.  */  
  17. @Target(ElementType.METHOD)     
  18. @Retention(RetentionPolicy.RUNTIME)      
  19. @Documented      
  20. @Inherited   
  21. public @interface Flush {  
  22.     String prefix();//key的前缀,如咨询:zx  
  23. }  

临时表用于存储key值

[sql]  view plain copy print ?
  1. CREATE TABLE `cache_log` (                                     
  2.              `id` bigint(20) NOT NULL AUTO_INCREMENT,                     
  3.              `prefix` varchar(50) DEFAULT NULL COMMENT 'key的前缀',    
  4.              `cache_key` varchar(300) DEFAULT NULL COMMENT 'key值',      
  5.              `add_time` datetime DEFAULT NULL,                            
  6.              PRIMARY KEY (`id`)                                           
  7.            ) ENGINE=MyISAM DEFAULT CHARSET=utf8    

memcache客户端代码:需要java_memcached-release_2.6.2.jar

[java]  view plain copy print ?
  1. package com.woaika.loan.commons.cache;  
  2.   
  3. import java.util.Date;  
  4.   
  5. import com.danga.MemCached.*;   
  6. import com.woaika.loan.commons.constants.CacheConstant;  
  7. public class Memcache {  
  8.   
  9.     static MemCachedClient memCachedClient=null;  
  10.     static{  
  11.           
  12.         String[] servers = { CacheConstant.SERVIERS};    
  13.         SockIOPool pool = SockIOPool.getInstance();    
  14.           
  15.         pool.setServers(servers);    
  16.         pool.setFailover(true);    
  17.      // 设置初始连接数、最小和最大连接数以及最大处理时间   
  18.     /*    pool.setInitConn(5); 
  19.         pool.setMinConn(5); 
  20.         pool.setMaxConn(250); 
  21.         pool.setMaxIdle(1000 * 60 * 60 * 6); */  
  22.         pool.setInitConn(10);    
  23.         pool.setMinConn(5);    
  24.         pool.setMaxConn(250);    
  25.         pool.setMaintSleep(30);  // 设置主线程的睡眠时间   
  26.      // 设置TCP的参数,连接超时等   
  27.         pool.setNagle(false);    
  28.         pool.setSocketTO(3000);    
  29.         pool.setAliveCheck(true);   
  30.           
  31.         pool.initialize();    
  32.          
  33.         memCachedClient = new MemCachedClient();      
  34.         memCachedClient.setPrimitiveAsString(true);//锟斤拷锟叫伙拷  
  35.     }  
  36.     public static Object  get(String key)  
  37.     {  
  38.         return memCachedClient.get(key);  
  39.     }  
  40. //  public static Map gets(String[] keys)  
  41. //  {         
  42. //      return memCachedClient.getMulti(keys);  
  43. //  }  
  44.     public static boolean set(String key,Object o)  
  45.     {  
  46.         return memCachedClient.set(key, o);       
  47.     }  
  48.     public static boolean set(String key,Object o,Date ExpireTime)  
  49.     {         
  50.         return memCachedClient.set(key, o, ExpireTime);  
  51.     }  
  52.     public static boolean exists(String key)  
  53.     {  
  54.         return memCachedClient.keyExists(key);  
  55.     }  
  56.     public static boolean delete(String key)  
  57.     {  
  58.         return memCachedClient.delete(key);  
  59.     }  
  60. }  

spring AOP代码 基于注解

[java]  view plain copy print ?
  1. package com.woaika.loan.front.common.aop;  
  2.   
  3. import java.lang.reflect.Method;  
  4. import java.util.Date;  
  5. import java.util.List;  
  6.   
  7. import javax.annotation.Resource;  
  8.   
  9. import org.aspectj.lang.ProceedingJoinPoint;  
  10. import org.aspectj.lang.Signature;  
  11. import org.aspectj.lang.annotation.Around;  
  12. import org.aspectj.lang.annotation.Aspect;  
  13. import org.aspectj.lang.annotation.Pointcut;  
  14. import org.aspectj.lang.reflect.MethodSignature;  
  15. import org.springframework.stereotype.Component;  
  16.   
  17. import com.woaika.loan.commons.annotation.Cache;  
  18. import com.woaika.loan.commons.annotation.Flush;  
  19. import com.woaika.loan.commons.cache.Memcache;  
  20. import com.woaika.loan.po.CacheLog;  
  21. import com.woaika.loan.service.log.ICacheLogService;  
  22.   
  23. /** 
  24.  * 拦截缓存 
  25.  * @author ajun 
  26.  * @email [email protected] 
  27.  * @blog http://blog.csdn.net/ajun_studio 
  28.  * 2012-3-12 上午10:51:58 
  29.  */  
  30. @Component  
  31. @Aspect  
  32. public class CacheAop {  
  33.   
  34.     private ICacheLogService cacheLogService;  
  35.       
  36.     @Resource(name="cacheLogService")  
  37.     public void setCacheLogService(ICacheLogService cacheLogService) {  
  38.         this.cacheLogService = cacheLogService;  
  39.     }  
  40.   
  41.       
  42.     //定义切面  
  43.     @Pointcut("execution(* com.woaika.loan.service..*.*(..))")  
  44.     public void cachedPointcut() {  
  45.   
  46.     }  
  47.   
  48.     @Around("cachedPointcut()")  
  49.     public Object doAround(ProceedingJoinPoint call){  
  50.          Object result = null;  
  51.          Method[] methods = call.getTarget().getClass().getDeclaredMethods();    
  52.          Signature signature = call.getSignature();  
  53.          MethodSignature methodSignature = (MethodSignature) signature;    
  54.          Method method = methodSignature.getMethod();  
  55.            
  56.          for(Method m:methods){//循环方法,找匹配的方法进行执行  
  57.              if(m.getName().equals(method.getName())){  
  58.                  if(m.isAnnotationPresent(Cache.class)){  
  59.                      Cache cache = m.getAnnotation(Cache.class);  
  60.                      if(cache!=null){  
  61.                             String tempKey = this.getKey(method, call.getArgs());  
  62.                             String prefix = cache.prefix();  
  63.                             String key = prefix+"_"+tempKey;  
  64.                             result =Memcache.get(key);  
  65.                             if(null == result){  
  66.                                 try {  
  67.                                     result = call.proceed();  
  68.                                     long expiration = cache.expiration();//1000*60*60*2==2小时过期  
  69.                                     Date d=new Date();  
  70.                                     d=new Date(d.getTime()+expiration);  
  71.                                     Memcache.set(key, result, d);  
  72.                                     //将key存入数据库  
  73.                                     CacheLog log = new CacheLog();  
  74.                                     log.setPrefix(prefix);  
  75.                                     log.setCacheKey(key);  
  76.                                     this.cacheLogService.add(log);  
  77.                                 } catch (Throwable e) {  
  78.                                     e.printStackTrace();  
  79.                                 }  
  80.                             }  
  81.                               
  82.                         }  
  83.                 } else  if(method.isAnnotationPresent(Flush.class)){  
  84.                      Flush flush = method.getAnnotation(Flush.class);  
  85.                      if(flush!=null){  
  86.                             String prefix = flush.prefix();  
  87.                             List  logs= cacheLogService.findListByPrefix(prefix);  
  88.                              if(logs!=null && !logs.isEmpty()){  
  89.                                  //删除数据库  
  90.                                 int rows =  cacheLogService.deleteByPrefix(prefix);  
  91.                                 if(rows>0){  
  92.                                     for(CacheLog log :logs){  
  93.                                         if(log!=null){  
  94.                                             String key = log.getCacheKey();  
  95.                                             Memcache.delete(key);//删除缓存  
  96.                                         }  
  97.                                     }  
  98.                                 }  
  99.                              }  
  100.                         }  
  101.                  }else{  
  102.                      try {  
  103.                          result = call.proceed();  
  104.                         } catch (Throwable e) {  
  105.                             e.printStackTrace();  
  106.                         }  
  107.                  }  
  108.                  break;  
  109.              }  
  110.               
  111.         }  
  112.           
  113.           
  114.           
  115.         return result;  
  116.     }  
  117.       
  118.     /** 
  119.      * 组装key值 
  120.      * @param method 
  121.      * @param args 
  122.      * @return 
  123.      */  
  124.    private String getKey(Method method, Object [] args){  
  125.         StringBuffer sb = new StringBuffer();   
  126.         String methodName = method.getName();  
  127.         sb.append(methodName);  
  128.         if(args!=null && args.length>0){  
  129.               
  130.             for(Object arg:args){  
  131.                 sb.append(arg);  
  132.             }  
  133.         }  
  134.           
  135.         return sb.toString();  
  136.          
  137.    }  
  138. }  

service层方法添加注解,但是里面代码没有添加任何memcache客户端的代码,达到降低耦合性:


[java]  view plain copy print ?
  1. @Cache(prefix=CacheConstant.ANLI,expiration=1000*60*60*10)  
  2.     @Transactional(propagation = Propagation.NOT_SUPPORTED,readOnly=true)  
  3.     public QueryResult findAll(Integer firstIndex, Integer pageSize) {  
  4.         Map condition = new HashMap();  
  5.         return loanCaseDao.findByCondition(condition, LoanCase.class, firstIndex, pageSize);  
  6.     }  

以上是主要代码的实现思路,希望对同志们的有所帮助,关于spring aop 自行google下就知道了

3.使用Memcached、Spring AOP构建数据库前端缓存框架

转自:http://my249645546.iteye.com/blog/1420061

一、 概念

Memcached是danga.com(运营LiveJournal的技术团队)开发的一套分布式内存对象缓存系统,用于在动态系统中减少数据库负载,提升性能。

二、 适用场合

1. 分布式应用。由于memcached本身基于分布式的系统,所以尤其适合大型的分布式系统。

2. 数据库前段缓存。数据库常常是网站系统的瓶颈。数据库的大并发量访问,常常造成网站内存溢出。当然我们也可以使用Hibernate的缓存机制。但memcached是基于分布式的,并可独立于网站应用本身,所以更适合大型网站进行应用的拆分。

3. 服务器间数据共享。举例来讲,我们将网站的登录系统、查询系统拆分为两个应用,放在不同的服务器上,并进行集群,那这个时候用户登录后,登录信息如何从登录系统服务器同步到查询系统服务器呢?这时候,我们便可以使用memcached,登录系统将登录信息缓存起来,查询系统便可以获得登录信息,就像获取本地信息一样。

三、 不适用场合

那些不需要“分布”的,不需要共享的,或者干脆规模小到只有一台服务器的应用,memcached不会带来任何好处,相反还会拖慢系统效率,因为网络连接同样需要资源

四、 安装

这里介绍windows环境的安装。

1. 下载memcache的windows稳定版,解压放某个盘下面,比如在c:\memcached

2. 在cmd下输入 'c:\memcached\memcached.exe -d install' 安装

3. 再输入: 'c:\memcached\memcached.exe -d start' 启动。

以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。

五、 客户端

Memcached本身是使用C开发的,客户端可以是php、C#、或者java。我是做java的,所以这里只介绍基于java的客户端。

我在网上看到基于java的客户端有两个

1. java_memcached-release_2.6.3

1) 简介

这是比较通用的Memcached客户端框架。具体原创不详。

2) 依赖的jar

A. commons-pool-1.5.6.jar

B. java_memcached-release_2.6.3.jar

C. slf4j-api-1.6.1.jar

D. slf4j-simple-1.6.1.jar

2. alisoft-xplatform-asf-cache-2.5.1

1) 简介

这个东东是阿里软件的架构师岑文初进行封装的。里面的注释都是中文的,比较好。

2) 依赖的jar

A. alisoft-xplatform-asf-cache-2.5.1.jar

B. commons-logging-1.0.4.jar

C. hessian-3.0.1.jar

D. log4j-1.2.9.jar

E. stax-api-1.0.1.jar

F. wstx-asl-2.0.2.jar

六、范例

1.基于java_memcached-release_2.6.3

Java代码   收藏代码
  1. package com.hl.memcached.cache;  
  2.   
  3. import java.util.Date;  
  4.   
  5. import com.danga.MemCached.MemCachedClient;  
  6. import com.danga.MemCached.SockIOPool;  
  7.   
  8. public class MyCache {  
  9.     public static void main(String[] args) {  
  10.         MemCachedClient client=new MemCachedClient();  
  11.         String [] addr ={"127.0.0.1:11211"};  
  12.         Integer [] weights = {3};  
  13.         SockIOPool pool = SockIOPool.getInstance();  
  14.         pool.setServers(addr);  
  15.         pool.setWeights(weights);  
  16.         pool.setInitConn(5);  
  17.         pool.setMinConn(5);  
  18.         pool.setMaxConn(200);  
  19.         pool.setMaxIdle(1000*30*30);  
  20.         pool.setMaintSleep(30);  
  21.         pool.setNagle(false);  
  22.         pool.setSocketTO(30);  
  23.         pool.setSocketConnectTO(0);  
  24.         pool.initialize();  
  25.           
  26. //      String [] s  =pool.getServers();  
  27.         client.setCompressEnable(true);  
  28.         client.setCompressThreshold(1000*1024);  
  29.           
  30. //      将数据放入缓存  
  31.         client.set("test2","test2");  
  32.           
  33. //      将数据放入缓存,并设置失效时间  
  34.         Date date=new Date(2000000);  
  35.         client.set("test1","test1", date);  
  36.           
  37. //      删除缓存数据  
  38. //      client.delete("test1");  
  39.           
  40. //      获取缓存数据  
  41.         String str =(String)client.get("test1");  
  42.         System.out.println(str);  
  43.     }  
  44. }  

 

2.   基于alisoft-xplatform-asf-cache-2.5.1

1)  配置memcached.xml

 

Xml代码   收藏代码
  1. xml version="1.0" encoding="UTF-8"?>  
  2. <memcached>  
  3.       
  4.     <client name="mclient_0" compressEnable="true" defaultEncoding="UTF-8"  
  5.         socketpool="pool_0">  
  6.           
  7.         <errorHandler>com.alisoft.xplatform.asf.cache.memcached.MemcachedErrorHandler  
  8.         errorHandler>  
  9.     client>  
  10.   
  11.       
  12.         <servers>127.0.0.1:11211servers>  
  13.         

你可能感兴趣的:(工作记录)