java缓存算法

http://my.oschina.net/u/866190/blog/188712

提到缓存，不得不提就是缓存算法(淘汰算法)，常见算法有LRU、LFU和FIFO等算法，每种算法各有各的优势和缺点及适应环境。

1、LRU(Least Recently Used ，最近最少使用)
算法根据数据的最近访问记录来淘汰数据，其原理是如果数据最近被访问过，将来被访问的几概率相对比较高，最常见的实现是使用一个链表保存缓存数据，详细具体算法如下：
1. 新数据插入到链表头部；
2. 每当缓存数据命中，则将数据移到链表头部；
3. 当链表满的时候，将链表尾部的数据丢弃；


2、LFU(Least Frequently Used，最不经常使用)
算法根据数据的历史访问频率来淘汰数据，其原理是如果数据过去被访问次数越多，将来被访问的几概率相对比较高。LFU的每个数据块都有一个引用计数，所有数据块按照引用计数排序，具有相同引用计数的数据块则按照时间排序。
具体算法如下：
1. 新加入数据插入到队列尾部（因为引用计数为1）；
2. 队列中的数据被访问后，引用计数增加，队列重新排序；
3. 当需要淘汰数据时，将已经排序的列表最后的数据块删除；


3、FIFO(First In First Out ，先进先出)
算法是根据先进先出原理来淘汰数据的，实现上是最简单的一种,具体算法如下：
1. 新访问的数据插入FIFO队列尾部，数据在FIFO队列中顺序移动；
2. 淘汰FIFO队列头部的数据；


评价一个缓存算法好坏的标准主要有两个，一是命中率要高，二是算法要容易实现。当存在热点数据时，LRU的效率很好，但偶发性的、周期性的批量操作会导致LRU命中率急剧下降，缓存污染情况比较严重。LFU效率要优于LRU，且能够避免周期性或者偶发性的操作导致缓存命中率下降的问题。但LFU需要记录数据的历史访问记录，一旦数据访问模式改变，LFU需要更长时间来适用新的访问模式，即：LFU存在历史数据影响将来数据的“缓存污染”效用。FIFO虽然实现很简单，但是命中率很低，实际上也很少使用这种算法。

基于现有jdk类库，我们可以很容易实现上面的缓存算法

首先定义缓存接口类

 

/**
 * 缓存接口
 * @author Wen
 *
 */
public interface Cache<K,V> {
    /**
     * 返回当前缓存的大小
     *
     * @return
     */
    int size();

    /**
     * 返回默认存活时间
     *
     * @return
     */
    long getDefaultExpire();

    /**
     * 向缓存添加value对象,其在缓存中生存时间为默认值
     *
     * @param key
     * @param value
     */
    void put(K key ,V value) ;

    /**
     * 向缓存添加value对象,并指定存活时间
     * @param key
     * @param value
     * @param expire  过期时间
     */
    void put(K key ,V value , long expire ) ;

    /**
     * 查找缓存对象
     * @param key
     * @return
     */
    V get(K key);

    /**
     * 淘汰对象
     *
     * @return  被删除对象大小
     */
    int eliminate();

    /**
     * 缓存是否已经满
     * @return
     */
    boolean isFull();

    /**
     * 删除缓存对象
     *
     * @param key
     */
    void remove(K key);

    /**
     * 清除所有缓存对象
     */
    void clear();

    /**
     * 返回缓存大小
     *
     * @return
     */
    int getCacheSize();

    /**
     * 缓存中是否为空
     */
    boolean isEmpty();

}

 

 

基本实现抽象类

 

 

import java.util.Map;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantReadWriteLock;

/**
 * 默认实现
 */
public abstract class AbstractCacheMap<K,V> implements Cache<K,V> {

    class CacheObject<K2,V2> {
        CacheObject(K2 key, V2 value, long ttl) {
            this .key = key;
            this .cachedObject = value;
            this .ttl = ttl;
            this .lastAccess = System.currentTimeMillis();
        }

        final K2 key;
        final V2 cachedObject;
        long lastAccess;        // 最后访问时间
        long accessCount;       // 访问次数
        long ttl;               // 对象存活时间(time-to-live)

        boolean isExpired() {
            if (ttl == 0 ) {
                return false ;
            }
            return lastAccess + ttl < System.currentTimeMillis();
        }
        V2 getObject() {
            lastAccess = System.currentTimeMillis();
            accessCount++;
            return cachedObject;
        }
    }

    protected Map<K,CacheObject<K,V>> cacheMap;

    private final ReentrantReadWriteLock cacheLock = new ReentrantReadWriteLock();
    private final Lock readLock = cacheLock.readLock();
    private final Lock writeLock = cacheLock.writeLock();



    protected int cacheSize;      // 缓存大小 , 0 -> 无限制

    protected  boolean existCustomExpire ; //是否设置默认过期时间

    public int getCacheSize() {
        return cacheSize;
    }

    protected long defaultExpire;     // 默认过期时间, 0 -> 永不过期

    public AbstractCacheMap( int cacheSize , long defaultExpire){
        this .cacheSize  = cacheSize ;
        this .defaultExpire  = defaultExpire ;
    }


    public long getDefaultExpire() {
        return defaultExpire;
    }


    protected boolean isNeedClearExpiredObject(){
        return defaultExpire > 0 || existCustomExpire ;
    }


    public void put(K key, V value) {
        put(key, value, defaultExpire );
    }


    public void put(K key, V value, long expire) {
        writeLock.lock();

        try {
            CacheObject<K,V> co = new CacheObject<K,V>(key, value, expire);
            if (expire != 0 ) {
                existCustomExpire = true ;
            }
            if (isFull()) {
                eliminate() ;
            }
            cacheMap.put(key, co);
        }
        finally {
            writeLock.unlock();
        }
    }



    /**
     * {@inheritDoc}
     */
    public V get(K key) {
        readLock.lock();

        try {
            CacheObject<K,V> co = cacheMap.get(key);
            if (co == null ) {
                return null ;
            }
            if (co.isExpired() == true ) {
                cacheMap.remove(key);
                return null ;
            }

            return co.getObject();
        }
        finally {
            readLock.unlock();
        }
    }

    public final int eliminate() {
        writeLock.lock();
        try {
            return eliminateCache();
        }
        finally {
            writeLock.unlock();
        }
    }

    /**
     * 淘汰对象具体实现
     *
     * @return
     */
    protected abstract int eliminateCache();



    public boolean isFull() {
        if (cacheSize == 0 ) { //o -> 无限制
            return false ;
        }
        return cacheMap.size() >= cacheSize;
    }


    public void remove(K key) {
        writeLock.lock();
        try {
            cacheMap.remove(key);
        }
        finally {
            writeLock.unlock();
        }
    }


    public void clear() {
        writeLock.lock();
        try {
            cacheMap.clear();
        }
        finally {
            writeLock.unlock();
        }
    }

    public int size() {
        return cacheMap.size();
    }


    public boolean isEmpty() {
        return size() == 0 ;
    }
}

 

 

LRU缓存实现类

 

 

import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.Map;

/**
 * LRU  实现
 * @author Wen
 *
 * @param <K>
 * @param <V>
 */
public class LRUCache<K, V> extends AbstractCacheMap<K, V> {

    public LRUCache( int cacheSize, long defaultExpire) {

        super (cacheSize , defaultExpire) ;

        //linkedHash已经实现LRU算法 是通过双向链表来实现，当某个位置被命中，通过调整链表的指向将该位置调整到头位置，新加入的内容直接放在链表头，如此一来，最近被命中的内容就向链表头移动，需要替换时，链表最后的位置就是最近最少使用的位置
        this .cacheMap = new LinkedHashMap<K, CacheObject<K, V>>( cacheSize + 1 , 1f, true ) {

            @Override
            protected boolean removeEldestEntry(
                    Map.Entry<K, CacheObject<K, V>> eldest) {

                return LRUCache. this .removeEldestEntry(eldest);
            }

        };
    }

    private boolean removeEldestEntry(Map.Entry<K, CacheObject<K, V>> eldest) {

        if (cacheSize == 0 )
            return false ;

        return size() > cacheSize;
    }

    /**
     * 只需要实现清除过期对象就可以了,linkedHashMap已经实现LRU
     */
    @Override
    protected int eliminateCache() {

        if (!isNeedClearExpiredObject()){ return 0 ;}

        Iterator<CacheObject<K, V>> iterator = cacheMap.values().iterator();
        int count  = 0 ;
        while (iterator.hasNext()){
            CacheObject<K, V> cacheObject = iterator.next();

            if (cacheObject.isExpired() ){
                iterator.remove();
                count++ ;
            }
        }

        return count;
    }

}

 

 

LFU实现类

 

 

import java.util.HashMap;
import java.util.Iterator;

//LFU实现
public class LFUCache<K,V> extends AbstractCacheMap<K, V> {


    public LFUCache( int cacheSize, long defaultExpire) {
        super (cacheSize, defaultExpire);
        cacheMap = new HashMap<K, CacheObject<K,V>>(cacheSize+ 1 ) ;
    }

    /**
     * 实现删除过期对象 和 删除访问次数最少的对象
     *
     */
    @Override
    protected int eliminateCache() {
        Iterator<CacheObject<K, V>> iterator = cacheMap.values().iterator();
        int count  = 0 ;
        long minAccessCount = Long.MAX_VALUE  ;
        while (iterator.hasNext()){
            CacheObject<K, V> cacheObject = iterator.next();

            if (cacheObject.isExpired() ){
                iterator.remove();
                count++ ;
                continue ;
            } else {
                minAccessCount  = Math.min(cacheObject.accessCount , minAccessCount)  ;
            }
        }

        if (count > 0 ) return count ;

        if (minAccessCount != Long.MAX_VALUE ){

            iterator = cacheMap.values().iterator();

            while (iterator.hasNext()){
                CacheObject<K, V> cacheObject = iterator.next();

                cacheObject.accessCount  -=  minAccessCount ;

                if (cacheObject.accessCount <= 0 ){
                    iterator.remove();
                    count++ ;
                }

            }

        }

        return count;
    }

}

 

 

FIFO实现类

 

 

import java.util.Iterator;
import java.util.LinkedHashMap;
/**
 * FIFO实现
 * @author Wen
 *
 * @param <K>
 * @param <V>
 */
public class FIFOCache<K, V> extends AbstractCacheMap<K, V> {

    public FIFOCache( int cacheSize, long defaultExpire) {
        super (cacheSize, defaultExpire);
        cacheMap = new LinkedHashMap<K, CacheObject<K, V>>(cacheSize + 1 );
    }

    @Override
    protected int eliminateCache() {

        int count = 0 ;
        K firstKey = null ;

        Iterator<CacheObject<K, V>> iterator = cacheMap.values().iterator();
        while (iterator.hasNext()) {
            CacheObject<K, V> cacheObject = iterator.next();

            if (cacheObject.isExpired()) {
                iterator.remove();
                count++;
            } else {
                if (firstKey == null )
                    firstKey = cacheObject.key;
            }
        }

        if (firstKey != null && isFull()) { //删除过期对象还是满,继续删除链表第一个
            cacheMap.remove(firstKey);
        }

        return count;
    }

}