后台开发常见层式结构设计:时间轮、跳表、LSM_Tree

目录

  • 1、海量并发定时任务:时间轮
  • 2、高并发读写有序结构组织;跳表
  • 3、空间利用率以及写性能高的磁盘数据组织:LSM_Tree

时间轮:内核定时器的实现、skynet、kafka、netty;
跳表:redis、rocksdb
LSM-Tree:写多读少 b+树 :读多写少

思想:分治

1、海量并发定时任务:时间轮

后台开发常见层式结构设计:时间轮、跳表、LSM_Tree_第1张图片
定时任务 定时器
以时间顺序来进行组织 过期时间戳
以事件的执行顺序进行组织: 时间轮 处理定时任务的优先级

多层级时间轮
后台开发常见层式结构设计:时间轮、跳表、LSM_Tree_第2张图片
后台开发常见层式结构设计:时间轮、跳表、LSM_Tree_第3张图片
多线程环境下如何进行加锁?锁的粒度
lock(&mtx);
操作时间轮
unlock(&mtx);

2、高并发读写有序结构组织;跳表

增删改查
后台开发常见层式结构设计:时间轮、跳表、LSM_Tree_第4张图片
增删改容易破坏理想状态,并且需要重新维护
增加节点时候,随即层数 1/2 1/4 1/8
O(log n)
多层级的有序链表
原子变量:最高层级、节点
内存可见性
指令优化问题
原子性
后台开发常见层式结构设计:时间轮、跳表、LSM_Tree_第5张图片

redis zset 排行榜 range,利于范围查找
双向链表,可以反向查找

3、空间利用率以及写性能高的磁盘数据组织:LSM_Tree

提升写的效率: 顺序内存 >> 随即内存~=顺序磁盘 >> 随机磁盘io

B+树 存储效率不高(空间放大比较严重 写放大比较严重) 167G
LSM-Tree 读多写少的问题 容易产生节点的分裂(double write) 50G

内存中支持跳表(更细粒度上加锁(只对修改的附近的节点加锁),支持多线程)
磁盘中有序的结构sorted string Table
Memtable可写内存
immutable memtable 只读内存

流程:
写到日志,同时写道可写内存,当可写内存写满,移到只读内存中,只读内存写道level0中,level0中可能出现相同的key(修改了某个值),level0中归并排序到level1

为什么是顺序写?
因为是append log。

怎么去高效地读?
加一个布隆过滤器:能确定一定不存在,有误差判定存在;
首先在level0的第一个ssTable中,用布隆过滤器判断,没有就去下一个ssTable;
level0都没有,就去下一个level

后台开发常见层式结构设计:时间轮、跳表、LSM_Tree_第6张图片

你可能感兴趣的:(C++开发后端基础知识,java,开发语言)