Linux下C/C++ redis协议(RESP)解析

Redis是一个开源的内存键值数据存储，最常用作主数据库、缓存、消息代理和队列。Redis提供了亚毫秒的响应时间，在游戏、金融科技、广告技术、社交媒体、医疗保健和物联网等行业实现了快速而强大的实时应用。

Redis连续五年成为开发人员最喜爱的数据库。开发人员喜欢Redis，因为它的易用性、性能和可扩展性。Redis客户端可用于各种流行的现代编程语言。再加上性能优势，Redis成为缓存、会话管理、游戏、欺诈检测、排行榜、实时分析、地理空间索引、拼车、社交媒体和流媒体应用程序最受欢迎的选择。

使用CLI探索Redis

外部程序使用TCP套接字和Redis特定的协议与Redis进行通信。该协议在Redis客户端库中实现，用于不同的编程语言。然而，为了简化Redis的黑客攻击，Redis提供了一个命令行实用程序，可以用来向Redis发送命令。这个程序叫做redis-cli。

这里我们先看看redis服务器是否开启。
要检查Redis是否正常工作，首先要做的是使用reds-cli发送一个PING命令：

运行reds-cli，后跟一个命令名及其参数，将此命令发送到本地主机6379端口上运行的redis实例。可以更改reds-cli使用的主机和端口，只需尝试–help选项即可检查使用情况信息。

另一种运行redis-cli的方法是不带参数：程序将以交互模式启动。您可以键入不同的命令并查看它们的答复。

保护好你的Redis

默认情况下，Redis绑定到所有接口，并且根本没有身份验证。如果你在一个非常可控的环境中使用Redis，与外部互联网分离，通常与攻击者分离，那没关系。

然而，如果一个未经保护的Redis暴露在互联网上，这将是一个巨大的安全问题。如果您不能100%确定您的环境是否正确安全，请检查以下步骤以使Redis更安全，这些步骤是为了提高安全性而登记的。

1.确保Redis用于监听连接的端口（默认情况下为6379，如果您在集群模式下运行Redis，则为16379，Sentinel为26379）已防火墙，因此无法从外部联系Redis。

2.使用设置了bind指令的配置文件，以确保Redis只侦听您正在使用的网络接口。例如，如果您只是从同一台计算机本地访问Redis，则仅使用环回接口（127.0.0.1），依此类推。

3.使用requirepass选项可以添加额外的安全层，以便客户端需要使用AUTH命令进行身份验证。

4.如果您的环境需要加密，请使用spiped或其他SSL隧道软件来加密Redis服务器和Redis客户端之间的流量。

请注意，在没有任何安全性的情况下暴露在互联网上的Redis实例很容易被利用，所以请确保您理解以上内容，并至少应用一个防火墙层。防火墙就位后，尝试从外部主机连接reds-cli，以证明该实例实际上是不可访问的。

从应用程序（hiRedis）中使用Redis

当然，仅仅从命令行界面使用Redis是不够的，因为目标是从应用程序中使用它。为了做到这一点，您需要下载并安装适用于您的编程语言的Redis客户端库。

hiRedis使用方法一般顺序为先用 redisConnect 连接数据库，然后用 redisCommand 执行命令，执行完后用 freeReplyObject 来释放redisReply对象，最后用 redisFree 来释放整个连接。

...
int main(int argc, char **argv) 
{
    
    /* 连接到redis */
		...

    redisContext *c = redisConnect(hostname,port);
    
    struct timeval timeout = { 1, 500000 }; // 1.5 seconds
    if (isunix) 
	{
        c = redisConnectUnixWithTimeout(hostname, timeout);
    } 
	else 
	{
        c = redisConnectWithTimeout(hostname, port, timeout);
    }
    if (c == NULL || c->err) 
	{
        if (c) 
		{
            printf("Connection error: %s\n", c->errstr);
            redisFree(c);
        } 
		else 
		{
            printf("Connection error: can't allocate redis context\n");
        }
        exit(1);
    }
    printf("Connected to redis\n");

    // redisFree(c);

    /* 2 - PING server */
    redisReply *reply;  /* 临时答复指针 */
    reply = redisCommand(c,"PING");
    printf("PING: %s\n", reply->str);

    /* 3 - Set a key */
    reply = redisCommand(c,"SET %s %s", "foo", "hello world");
    printf("SET %s %s \t| %s\n", "foo", "hello world", reply->str);
    freeReplyObject(reply);     // 释放回复对象

    /* 3 - Get a key */
    reply = redisCommand(c,"GET %s","foo");
    printf("GET %s \t\t| ","foo");
    printf("%s\n",reply->str);
    freeReplyObject(reply);

    /* Set a key using binary safe API */
    // reply = redisCommand(c,"SET %b %b", "bar", (size_t) 3, "hello", (size_t) 5);
    // printf("SET (binary API): %s\n", reply->str);
    // freeReplyObject(reply);
    redisFree(c);

    return 0;
}

运行结果：

我们也可以使用 nc 命令来替代 redis-cli 命令行：

什么是 RESP？

Redis 的客户端和服务端之间采取了一种独立名为 RESP(REdis Serialization Protocol) 的协议。通过 tcp流式套接字来进行通讯，为了 防止粘包 因此命令或数据均以 \r\n (CRLF) 结尾，然后根据解析规则解析相应信息。

RESP协议可以序列化多种类型，比如Simple Strings(简单字符串），Errors（错误类型），Integers（整形），Bulk Strings（批量串）和Arrays（数组），但此协议只适用于Redis客户端-服务端之间的通信，Redis集群中节点间通信使用的另一种协议。

RESP协议说明

RESP协议是在Redis 1.2中引入的，但它成为了与Redis 2.0中的Redis服务器通信的标准方式。这是所有Redis客户端都要遵循的协议，我们甚至可以基于此协议，开发实现自己的Redis客户端。

RESP在Redis中用作请求-响应协议的方式如下：

1.客户端将命令作为Bulk Strings的RESP数组发送到Redis服务器。
2.服务器根据命令实现回复一种RESP类型。
3.在RESP中，某些数据的类型取决于第一个字节：
    +代表简单字符串（Simple Strings）比如OK，PONG（对应客户端的PING命令）
    -代表错误类型（Errors）
    :代表整型（Integers）
    $代表多行字符串（Bulk Strings）
    *代表数组（Arrays）
此外，RESP能够使用稍后指定的Bulk Strings或Array的特殊变体来表示Null值。
在RESP中，协议的不同部分始终以“\r\n”（CRLF）结束。

RESP抓包验证

我们知道，Redis客户端与server端通信，本身就是基于tcp的一个Request/Response模式。我们不妨用网络抓包工具，拦截客户端与server端传输的数据、一探究竟。抓包使用tcpdump命令，具体参数这里就不多说了，使用的命令是：

tcpdump host 127.0.0.1 and port 6379 -i lo -w redis-packet-test.cap

抓取的结果保存在redis-packet-test.cap，分析工具使用Wireshark，在分析之前，先说下客户端与服务端交互的命令:

1.info，返回redis服务端的相关信息
2.set abc 111，服务端响应OK
3.get abc，返回111
4.lpush abclist 1 2 3，返回 9
5.ee，这是个错误命令，主要看下服务端返回的错误数据格式
接下来我们结合数据包分析下：

redis-cli:

TCP三次握手建立连接的

PSH是发送数据，ACK是响应.

首先发送的命令是info，先看右边部分，可以看到一开始是*1：表示长度为1的数组，后边的··对应左边是0d 0a，其实就是\r\n的16进制表示形式，然后后边$4：代表长度为4的Bulk Strings，也就是info，后边紧跟着info。
info命令返回数据包：$1924：长度为1924的Bulk Strings，后边便是服务器相关信息

set abc 111命令：*3：长度为3的数组，后边是数组里的3个元素：$3··set（长度为3的Bulk Strings）、$3··xfh、$3··111
返回数据：+OK（代表简单字符串‘OK’）简单字符串一般是服务器状态相关，比如’OK’、‘PONG’等；而Bulk Strings可以包含任何内容（比如换行符、控制符）

命令lpush abclist 1 2 3：看到这相信大家都已经明白了，*5代表长度为5的数组，后边紧跟着5个Bulk Strings lpush、xfhlist、1、2、3，而且每个元素的前边都有长度，分别是$5、$7、$1、$1、$1
返回：:9（表示整形数据9）

命令ff，这是个错误命令，redis中没有这个命令，应该返回语法错误

返回：发现前缀是-，对应RESP协议中的错误类型，后边紧跟着ERR unknown command ‘ff’

Linux下C/C++ RESP协议解析

...
int query_parser(const u_char* pkt_data, unsigned int data_len, char **query)
{
...
}
int resp_parser(const u_char* pkt_data, unsigned int data_len, char **resp)
{
...
}
...
void packetHandle(u_char* arg, const struct pcap_pkthdr* header, const u_char* pkt_data)
{
...
    if ( !pkt_data )
	{
        printf ("Didn't grab packet!/n");
        exit (1);
    }
    if (header->caplen < header->len) return;
    pehdr = (struct ether_header*)pkt_data;
    pkt_data += *linkhdrlen;
    
    piphdr = (struct ip*)pkt_data;
    pkt_data += IP_HL(piphdr);
    data_len = ntohs(piphdr->ip_len) - IP_HL(piphdr);
    switch(piphdr->ip_p)
	{
        case IPPROTO_TCP:
            ptcphdr = (struct tcphdr*)pkt_data;
            data_len = data_len - TCP_OFF(ptcphdr);
            pkt_data += TCP_OFF(ptcphdr);
            strcpy(sip, inet_ntoa(piphdr->ip_src));
            strcpy(dip, inet_ntoa(piphdr->ip_dst));
            sport = ntohs(ptcphdr->source);
            dport = ntohs(ptcphdr->dest);
            break;
        default:
            data_len = 0;
            pkt_data = NULL;
            break;
    }
    if (data_len == 0 || pkt_data == NULL ) return;

...

    signal(SIGINT, bailout);
    signal(SIGTERM, bailout);
    signal(SIGQUIT, bailout);
}   

...
int main(int argc, char **argv)
{
...

    while ((i = getopt(argc, argv, "hi:p:")) != -1) 
	{
        switch(i)
		{
            case 'h':
                Usage();
                return -1;
                break;
            case 'i':
                option.device = optarg;
                break;
            case 'p':
                option.port = atoi(optarg);
                break;
            default:
                break;
        }
    }

    sprintf(option.bufstr, "port %d", option.port);

    char *d = getenv("jdebug");
    if ( d != NULL &&  !strcmp(d, "true")) 
        debug = 1;
    
    dbg("debug mode\n");

    if((pHandle = init_pcap_t(option.device, option.bufstr)))
	{
        sniff_loop(pHandle, (pcap_handler)packetHandle);
    }    
...

}

运行结果：

If you need the complete source code, please add the WeChat number (c17865354792)

总结

Redis 基于 RESP （Redis Serialization Protocal）协议来完成客户端和服务端通讯的。RESP 本质是一种文本协议，实现简单、易于解析。底层采用的是TCP的连接方式，通过tcp进行数据传输，然后根据解析规则解析相应信息。

Welcome to follow WeChat official account【程序猿编码】
参考：https://redis.io/docs/