memcache append 大数据 大字符串 压缩

关于MemcacheClient中CachedData.flag的说明

0000000000000010==COMPRESSED==2
0000000000000001==SERIALIZED==1
0000000100000000==SPECIAL_BOOLEAN==256
0000001000000000==SPECIAL_INT==512
0000001100000000==SPECIAL_LONG==768
0000010000000000==SPECIAL_DATE==1024
0000010100000000==SPECIAL_BYTE==1280
0000011000000000==SPECIAL_FLOAT==1536
0000011100000000==SPECIAL_DOUBLE==1792
0000100000000000==SPECIAL_BYTEARRAY==2048
0000100100000000==SPECIAL_X_COMPRESSED==2304
1111111100000000==SPECIAL_MASK==65280

从以上二进制可以看出，这个flag分成了高8位与低8位，这两部分各有含意。

低8位，用来实现   "业务含意叠加" 的效果

高8位，用来表示其它普通的状态， 共可表示256种状态。

先看一个典型的encode过程，先序列化，再压缩
int flag = 0;//初始化
flag |= SERIALIZED;//flag=1, 二进制，01
flag |= COMPRESSED;//flag=3, 二进制，11
经过这2步后，flag就饱含了2种意思
从右数，第1位是1，表示是SERIALIZED，
从右数，第2位是1,表示是COMPRESSED，
从右数，第1位和第2位，一直到第8位，都是特殊的标识位。
如果想要用这个flag实现 "业务含意叠加" 的效果，flag只能取
1,10,100,1000,10000,100000,1000000,10000000，共8个值，即低8位，每位一个值

再看decode过程
int flag = 3//二进制，11
(flags & COMPRESSED) = 1;//说明是压缩数据，其实比较的是从右数第2个标识位是不是1，其它位是不是0
flags = flags & SPECIAL_MASK;//这一行的作用是抹去低8位(特殊的标识位)
再去判断是什么类型就可以正确的用switch了，比较的是高8位。

============================================= 分隔线 =============================================

我们都知道，memcache性能还是相当不错的，而且还可以设置是否启用压缩。

对于set方法，如果超过压缩阀值，会启用压缩，这没问题。

对于append方法，如果超过压缩阀值，同样会启用压缩，但问题来了，append的数据会有2种不同的类型，一种是启用压缩的，一种是未启用压缩的，那么解压缩时，就会出错了。

好，知道问题原因了，那就fix它。我们知道不管是set还是append，memcache最终存储的数据都是byte1[]，我用自定义一种byte2[]，与byte1[] 不同的是，我们在byte1[]前面加了两种信息，一种信息是该byte1[]有没有进行压缩，第二种信息是byte1[]的长度，最终把byte2[]存储到memcache。解压时，反向解压即可。

只需要重新定义一下Transcoder和一个自定义类即可。

XCompress.java

package com.collonn.javaUtilMvn.memcache.transcoder;

import java.nio.charset.Charset;

/**
 * Created by jelly on 2016-7-8.
 */
public class XCompress {
    private byte[] bytes;

    public XCompress(String str){
        this.bytes = str.getBytes(Charset.forName("UTF-8"));
    }

    public XCompress(String str, String charSetName){
        this.bytes = str.getBytes(Charset.forName(charSetName));
    }

    public XCompress(byte[] bytes){
        this.bytes = bytes;
    }

    public byte[] getBytes() {
        return bytes;
    }

    public void setBytes(byte[] bytes) {
        this.bytes = bytes;
    }
}

Transcoder for net.rubyeye.xmemcached.MemcachedClient

package com.collonn.javaUtilMvn.memcache.transcoder;

import net.rubyeye.xmemcached.transcoders.BaseSerializingTranscoder;
import net.rubyeye.xmemcached.transcoders.CachedData;
import net.rubyeye.xmemcached.transcoders.Transcoder;
import net.rubyeye.xmemcached.transcoders.TranscoderUtils;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.Arrays;
import java.util.Date;

/**
 * Transcoder that serializes and compresses objects.
 */
public class XTranscoder extends BaseSerializingTranscoder implements
        Transcoder