Redis源码分析（十九）——二进制位操作bitops
对给定的键的键值（字符串或整数）进行位操作：如SETBIT/ GETBIT：设置或 获取键值指定位的值（0或1）； BITOP :对给的多个定键值按位进行AND OR XOR 以及NOT运算 等操作。
在存储数据时，对于那些只有两个取值的数据（比如性别）按二进制位来存储比存放对应的整数或者字符等能节约很多空间。
具体命令实现：
BITCOUNT：
计算长度为 count 的二进制数组指针 s 被设置为 1 的位的数量。
size_t redisPopcount(void *s, long count)
其中一种计算方法可见：http://blog.csdn.net/yuyixinye/article/details/40657773
SETBIT / GETBIT命令的基本思想：
***把偏移量bitoffset（给定键值的目标位）转化为第byte个字节的第bit个位 的组合，
***然后在字符串（为整数编码的先转化为字符串编码）中取出（或设置）第bitoffset个字符的第bit位即可
***注意： 要取的位是在字符串中从左到右的顺序计算的，而在取某个字节的bit位时是按右到左的顺序计算的，因此 需要转换
按位AND OR XOR 以及NOT 等命令：
优化处理措施：在键的数量比较少时，把键值字符串划分为整数个32位 + 最后的残余（小于32位）位数组成。对前面的整数倍的32位的，每次循环处理4个字节（32位），由于对每个键值字符串，这4个字节是连着存放的，因此可以一次载入到缓存中，然后按位进行处理； 而对于后面的小于32位的则每次循环只处理一个字节。
/* SETBIT key offset bitvalue */
//与GET命令实现思路一致： 找到要设置的字节的目标位，然后记录下原来的该位的值，最后把该位设置为目标值
void setbitCommand(redisClient *c) {
robj *o;
char *err = "bit is not an integer or out of range";
size_t bitoffset;
int byte, bit;
int byteval, bitval;
long on;
// 获取 offset 参数
if (getBitOffsetFromArgument(c,c->argv[2],&bitoffset) != REDIS_OK)
return;
// 获取 value 参数
if (getLongFromObjectOrReply(c,c->argv[3],&on,err) != REDIS_OK)
return;
/* Bits can only be set or cleared... */
// value 参数的值只能是 0 或者 1 ，否则返回错误
if (on & ~1) {//位运算的结果，按非1（即全零）即1（至少有一位为1）处理
addReplyError(c,err);
return;
}
// 查找字符串对象
o = lookupKeyWrite(c->db,c->argv[1]);
if (o == NULL) {
// 对象不存在，创建一个空字符串对象
o = createObject(REDIS_STRING,sdsempty());
// 并添加到数据库
dbAdd(c->db,c->argv[1],o);
} else {
// 对象存在，检查类型是否字符串
if (checkType(c,o,REDIS_STRING)) return;
o = dbUnshareStringValue(c->db,c->argv[1],o);
}
/* Grow sds value to the right length if necessary */
// 计算容纳 offset 参数所指定的偏移量所需的字节数
// 如果 o 对象的字节不够长的话，就扩展它
// 长度的计算公式是 bitoffset >> 3 + 1
// 比如 30 >> 3 + 1 = 4 ，也即是为了设置 offset 30 ，
// 我们需要创建一个 4 字节（32 位长的 SDS）
byte = bitoffset >> 3;
o->ptr = sdsgrowzero(o->ptr,byte+1);
/* Get current values */
// 将指针定位到要设置的位所在的字节上
byteval = ((uint8_t*)o->ptr)[byte];
// 定位到要设置的位上面
bit = 7 - (bitoffset & 0x7);
// 记录位现在的值
bitval = byteval & (1 << bit);
/* Update byte with new bit value and return original value */
// 更新字节中的位，设置它的值为 on 参数的值
byteval &= ~(1 << bit);//把要设置的位设为0
byteval |= ((on & 0x1) << bit);//把要这是的位置为设定值
((uint8_t*)o->ptr)[byte] = byteval;
// 发送数据库修改通知
signalModifiedKey(c->db,c->argv[1]);
notifyKeyspaceEvent(REDIS_NOTIFY_STRING,"setbit",c->argv[1],c->db->id);
server.dirty++;
// 向客户端返回位原来的值
addReply(c, bitval ? shared.cone : shared.czero);
}
/* GETBIT key offset */
//把偏移量bitoffset转化为第byte字节的第bit位 的组合，
//然后在字符串（为整数编码的先转化为字符串编码）中取出的bitoffset个字符的第bit位即可
//注意： 要取的位是在字符串中从左到右的顺序计算的，
//而在取某个字节的bit位时是按右到左的顺序计算的，因此需要转换
void getbitCommand(redisClient *c) {
robj *o;
char llbuf[32];
size_t bitoffset;
size_t byte, bit;
size_t bitval = 0;
// 读取 offset 参数
if (getBitOffsetFromArgument(c,c->argv[2],&bitoffset) != REDIS_OK)
return;
// 查找对象，并进行类型检查
if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.czero)) == NULL ||
checkType(c,o,REDIS_STRING)) return;
// 计算出 offset 所指定的位所在的字节
byte = bitoffset >> 3;
// 计算出位所在的位置
bit = 7 - (bitoffset & 0x7);//注意： 要取的位是在字符串中从左到右的顺序计算的，
//而在取某个字节的bit位时是按右到左的顺序计算的，因此需要转换
// 取出位
if (sdsEncodedObject(o)) {
// 字符串编码，直接取值
if (byte < sdslen(o->ptr))
bitval = ((uint8_t*)o->ptr)[byte] & (1 << bit);
} else {
// 整数编码，先转换成字符串，再取值
if (byte < (size_t)ll2string(llbuf,sizeof(llbuf),(long)o->ptr))
bitval = llbuf[byte] & (1 << bit);
}
// 返回位
addReply(c, bitval ? shared.cone : shared.czero);
}
/* BITOP op_name target_key src_key1 src_key2 src_key3 ... src_keyN */
//把目标字符串进行给定的为运算：
void bitopCommand(redisClient *c) {
char *opname = c->argv[1]->ptr;
robj *o, *targetkey = c->argv[2];
long op, j, numkeys;
robj **objects; /* Array of source objects. */
unsigned char **src; /* Array of source strings pointers. */
long *len, maxlen = 0; /* Array of length of src strings, and max len. */
long minlen = 0; /* Min len among the input keys. */
unsigned char *res = NULL; /* Resulting string. */
/* Parse the operation name. */
// 读入 op 参数，确定要执行的操作
if ((opname[0] == 'a' || opname[0] == 'A') && !strcasecmp(opname,"and"))
op = BITOP_AND;
else if((opname[0] == 'o' || opname[0] == 'O') && !strcasecmp(opname,"or"))
op = BITOP_OR;
else if((opname[0] == 'x' || opname[0] == 'X') && !strcasecmp(opname,"xor"))
op = BITOP_XOR;
else if((opname[0] == 'n' || opname[0] == 'N') && !strcasecmp(opname,"not"))
op = BITOP_NOT;
else {
addReply(c,shared.syntaxerr);
return;
}
/* Sanity check: NOT accepts only a single key argument. */
// NOT 操作只能接受单个 key 输入
if (op == BITOP_NOT && c->argc != 4) {
addReplyError(c,"BITOP NOT must be called with a single source key.");
return;
}
/* Lookup keys, and store pointers to the string objects into an array. */
// 查找输入键，并将它们放入一个数组里面
numkeys = c->argc - 3;
// 字符串数组，保存 sds 值
src = zmalloc(sizeof(unsigned char*) * numkeys);
// 长度数组，保存 sds 的长度
len = zmalloc(sizeof(long) * numkeys);
// 对象数组，保存字符串对象
objects = zmalloc(sizeof(robj*) * numkeys);
for (j = 0; j < numkeys; j++) {
// 查找对象
o = lookupKeyRead(c->db,c->argv[j+3]);
/* Handle non-existing keys as empty strings. */
// 不存在的键被视为空字符串
if (o == NULL) {
objects[j] = NULL;
src[j] = NULL;
len[j] = 0;
minlen = 0;
continue;
}
/* Return an error if one of the keys is not a string. */
// 键不是字符串类型，返回错误，放弃执行操作
if (checkType(c,o,REDIS_STRING)) {
for (j = j-1; j >= 0; j--) {
if (objects[j])
decrRefCount(objects[j]);
}
zfree(src);
zfree(len);
zfree(objects);
return;
}
// 记录对象
objects[j] = getDecodedObject(o);
// 记录 sds
src[j] = objects[j]->ptr;
// 记录 sds 长度
len[j] = sdslen(objects[j]->ptr);
// 记录目前最长 sds 的长度
if (len[j] > maxlen) maxlen = len[j];
// 记录目前最短 sds 的长度
if (j == 0 || len[j] < minlen) minlen = len[j];
}
/* Compute the bit operation, if at least one string is not empty. */
// 如果有至少一个非空字符串，那么执行计算
if (maxlen) {
// 根据最大长度，创建一个 sds ，该 sds 的所有位都被设置为 0
res = (unsigned char*) sdsnewlen(NULL,maxlen);
unsigned char output, byte;
long i;
/* Fast path: as far as we have data for all the input bitmaps we
* can take a fast path that performs much better than the
* vanilla algorithm. */
// 在键的数量比较少时，进行优化（每次处理4个字节，这4个字是连着存放的，个一次载入到缓存中）： 处理前面的整数倍的32位的，后面的小于32位的正常处理
j = 0;
if (minlen && numkeys <= 16) {
unsigned long *lp[16];
unsigned long *lres = (unsigned long*) res;
/* Note: sds pointer is always aligned to 8 byte boundary. */
memcpy(lp,src,sizeof(unsigned long*)*numkeys);
memcpy(res,src[0],minlen);
/* Different branches per different operations for speed (sorry). */
// 当要处理的位大于等于 32 位时
// 每次载入 4*8 = 32 个位，然后对这些位进行计算，利用缓存，进行加速
if (op == BITOP_AND) {
while(minlen >= sizeof(unsigned long)*4) {
for (i = 1; i < numkeys; i++) {
lres[0] &= lp[i][0];
lres[1] &= lp[i][1];
lres[2] &= lp[i][2];
lres[3] &= lp[i][3];
lp[i]+=4;
}
lres+=4;
j += sizeof(unsigned long)*4;
minlen -= sizeof(unsigned long)*4;
}
} else if (op == BITOP_OR) {
while(minlen >= sizeof(unsigned long)*4) {
for (i = 1; i < numkeys; i++) {
lres[0] |= lp[i][0];
lres[1] |= lp[i][1];
lres[2] |= lp[i][2];
lres[3] |= lp[i][3];
lp[i]+=4;
}
lres+=4;
j += sizeof(unsigned long)*4;
minlen -= sizeof(unsigned long)*4;
}
} else if (op == BITOP_XOR) {
while(minlen >= sizeof(unsigned long)*4) {
for (i = 1; i < numkeys; i++) {
lres[0] ^= lp[i][0];
lres[1] ^= lp[i][1];
lres[2] ^= lp[i][2];
lres[3] ^= lp[i][3];
lp[i]+=4;
}
lres+=4;
j += sizeof(unsigned long)*4;
minlen -= sizeof(unsigned long)*4;
}
} else if (op == BITOP_NOT) {
while(minlen >= sizeof(unsigned long)*4) {
lres[0] = ~lres[0];
lres[1] = ~lres[1];
lres[2] = ~lres[2];
lres[3] = ~lres[3];
lres+=4;
j += sizeof(unsigned long)*4;
minlen -= sizeof(unsigned long)*4;
}
}
}
/* j is set to the next byte to process by the previous loop. */
// 以正常方式执行位运算(每次处理一个字节)
for (; j < maxlen; j++) {
output = (len[0] <= j) ? 0 : src[0][j];
if (op == BITOP_NOT) output = ~output;
// 遍历所有输入键，对所有输入的 scr[i][j] 字节进行运算
for (i = 1; i < numkeys; i++) {
// 如果数组的长度不足，那么相应的字节被假设为 0
byte = (len[i] <= j) ? 0 : src[i][j];
switch(op) {
case BITOP_AND: output &= byte; break;
case BITOP_OR: output |= byte; break;
case BITOP_XOR: output ^= byte; break;
}
}
// 保存输出
res[j] = output;
}
}
// 释放资源
for (j = 0; j < numkeys; j++) {
if (objects[j])
decrRefCount(objects[j]);
}
zfree(src);
zfree(len);
zfree(objects);
/* Store the computed value into the target key */
if (maxlen) {
// 保存结果到指定键
o = createObject(REDIS_STRING,res);
setKey(c->db,targetkey,o);
notifyKeyspaceEvent(REDIS_NOTIFY_STRING,"set",targetkey,c->db->id);
decrRefCount(o);
} else if (dbDelete(c->db,targetkey)) {
// 输入为空，没有产生结果，仅仅删除指定键
signalModifiedKey(c->db,targetkey);
notifyKeyspaceEvent(REDIS_NOTIFY_GENERIC,"del",targetkey,c->db->id);
}
server.dirty++;
addReplyLongLong(c,maxlen); /* Return the output string length in bytes. */
}