物联网安全himqtt防火墙数据结构之ringbuffer环形缓冲区

 

物联网安全himqtt防火墙数据结构之ringbuffer环形缓冲区

 

  随着5G的普及,物联网安全显得特别重要,himqtt是首款完整源码的高性能MQTT物联网防火墙 - MQTT Application FireWallC语言编写,采用epoll模式支持IoT数十万的高并发连接,并且兼容ModSecurity部分规则。 代码非常优秀,非常值得收藏和学习,今天笔者就从结合himqtt的源码来进行ringbuffer数据结构分析,主要特点是速度快。

 

一、 ringBuffer 介绍

  ringBuffer 称作环形缓冲,也有叫 circleBuffer Linux内核也大量使用了这种数据结构。就是取内存中一块连续的区域用作环形缓冲区的数据存储区。这块连续的存储会被反复使用,向 ringBuffer 写入数据总是从写指针的位置开始,如写到实际存储区的末尾还没有写完,则将剩余的数据从存储区的头开始写;从该 ringBuffer 读出数据也是从读指针的位置开始,如读到实际存储区的末尾还没有读完,则从存储区的头开始读剩下的数据。

 物联网安全himqtt防火墙数据结构之ringbuffer环形缓冲区_第1张图片

 

ringBuffer 优点

 

1Ring Buffer 比链表要快,因为它是数组,而且有一个容易预测的访问模式。这很不错,对 CPU 高速缓存友好 (CPU-cache-friendly)-数据可以在硬件层面预加载到高速缓存,因此 CPU 不需要经常回到主内存 RAM 里去寻找 Ring Buffer 的下一条数据。

2Ring Buffer 是一个数组,你可以预先分配内存,并保持数组元素永远有效。这意味着内存垃圾收集(GC)在这种情况下几乎什么也不用做。此外,也不像链表那样每增加一条数据都要创建对象-当这些数据从链表里删除时,这些对象都要被清理掉。

 总之就是内存处理速度特别快,特别适合高并发、大量的请求

三、ringBuffer 代码实现

首先在github上下载himqtt的源码:https://github.com/qq4108863/himqtt

找到src目录下的ringbuffer.cringbuffer.h文件。

 

1、ringBuffer 的结构体

typedef struct bufent {

    char *data;

    char *ptr;

    size_t left;

    struct bufent *next;

} bufent;

 

typedef struct ringbuffer {

    bufent *slots;

    bufent *head; // reads from the head

    bufent *tail; // writes to the tail

    char   *buf;

    int used;

    int num_slots;

    int data_len;

    size_t bytes_written;

} ringbuffer;

 

 

2、创建 ringBuffer 函数

void

ringbuffer_init(ringbuffer *rb, int num_slots, int data_len)

{

rb->num_slots = num_slots ?: DEF_RING_SLOTS;

rb->data_len = data_len ?: DEF_RING_DATA_LEN;

rb->slots = malloc(rb->num_slots * sizeof(rb->slots[0]));

AN(rb->slots);

 

rb->head = &rb->slots[0];

rb->tail = &rb->slots[0];

int x;

for (x=0; x < rb->num_slots; x++) {

rb->slots[x].next = &(rb->slots[(x + 1) % rb->num_slots]);

rb->slots[x].data = malloc(rb->data_len);

AN(rb->slots[x].data);

}

rb->used = 0;

rb->bytes_written = 0;

}

   

3、清空 ringBuffer 函数

void

ringbuffer_cleanup(ringbuffer *rb)

{

int x;

for (x=0; x < rb->num_slots; x++) {

free(rb->slots[x].data);

}

free(rb->slots);

}

 

4、读数据函数

char *

ringbuffer_read_next(ringbuffer *rb, int * length)

{

assert(rb->used);

*length = rb->head->left;

return rb->head->ptr;

}

 

5、写数据函数

void

ringbuffer_write_append(ringbuffer *rb, int length)

{

assert(rb->used < rb->num_slots);

 

rb->used++;

 

rb->tail->ptr = rb->tail->data;

rb->tail->left = length;

rb->tail = rb->tail->next;

}

 

 

   如果仅仅有一个读用户和一个写用户,那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区,那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。

Ringbuffer特别适合一个读,一个写的高速场景。5G 时代就是大量的设备会联网,并且持续通信,对himqtt这类物联网防火墙就提出了很高的要求,所以算法和数据结构设计就非常重要。

你可能感兴趣的:(物联网安全himqtt防火墙数据结构之ringbuffer环形缓冲区)