E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
RocksDB
LSM树和Elasticsearch的索引写入机制
目前,LSM被很多存储产品作为存储结构,比如ApacheHBase,ApacheCassandra,MongoDB的WiredTiger存储引擎,LevelDB存储引擎,
RocksDB
存储引擎等。
阿凡卢
·
2020-06-01 14:00
谈谈三种海量数据实时去重方案(w/ Flink)
本文以Flink处理日均亿级别及以上的日志数据为背景,讨论除了朴素方法(HashSet)之外的三种实时去重方案,即:布隆过滤器、
RocksDB
状态后端、外部存储
LittleMagic
·
2020-05-21 17:27
基于 Jepsen 来发现几个 Raft 实现中的一致性问题(2)
由于NebulaGraph采用的是存储计算分离架构,在存储层实际只是暴露了简单的kv接口,采用
RocksDB
作为状态机,通过Raft一致性协议来保证多副本数据一致的问题。
NebulaGraph
·
2020-04-15 16:00
FileStore与BlueStore的比较
FileStore:16osd(HDD)+NVMeSSD(journal)B.FileStore:16osd(SSD)+NVMeSSD(journal)C.BlueStore:16osd(HDD)+NVMeSSD(
RocksDB
running_sheep
·
2020-04-14 16:25
Rocksdb
整理1--JoinBatchGroup
Rocksdb
相对于leveldb的很重要的一个改进点就是写聚合流程的改进。
从此启航
·
2020-04-14 11:18
RocketMQ源码阅读(四)-消息存储
前言接下来会介绍RocketMQ的消息存储,本文先对RocketMQ的整体设计和组件进行简单介绍,后续会针对细节进行源代码的分析.目前MQ的存储方式主要是三种方式:分布式KV存储(levelDB,
RocksDB
_呆瓜_
·
2020-04-13 18:57
ceph jewel xfs w/o bluestore
rocksdb
系统:Ubuntu16.04ceph:jewel10.2.7部署方式:ceph-deploy部署服务器:node0文件服务器:node1node2node3node4node5OSD数据盘:/dev/xvdb/dev/xvdc准备工作:mkdir-p~/ceph-clustercd~/ceph-cluster清空历史数据:ceph-deploypurgenode1node2node3node4no
akka9
·
2020-04-09 16:48
如何在 Flink 中规划
RocksDB
内存容量?
作者:StefanRichter翻译:毛家琦校对:胡争本文描述了一些配置选项,这些选项将帮助您有效地管理规划ApacheFlink中
RocksDB
statebackend的内存大小。
ApacheFlink
·
2020-04-06 18:36
flink
大数据
大数据处理
实时计算
流计算-storm
RocksDB
. Merge Operator
1为什么需要MergeOperator
RocksDB
是一个高性能嵌入式持久化key-value存储引擎,提供了常规的Put,Get,Delete接口。
周肃
·
2020-04-05 13:37
Tuning
RocksDB
- Statistics
RocksDB
是一个性能非常强悍的Key-Value存储引擎,很多项目包括我们的TiKV都使用它来存储数据。
siddontang
·
2020-04-04 16:00
tikv 源码阅读日记
kv数据是存储在一个
rocksdb
实例中,raft日志是存储在另一个
rocksdb
实例中。可以理解为,一块硬盘为一个Store。
pamuk
·
2020-04-04 14:42
RocksDB
block-based SST 文件详解
[TOC]参考1.
Rocksdb
的SST2.深入LevelDB数据文件SSTable的结构3.
Rocksdb
BlockBasedTableFormat4.浅析
RocksDB
的SSTable格式5.
RocksDB
.BlockBasedTable
GOGOYAO
·
2020-04-02 18:27
RocksDB
- MANIFEST
通常遇到这个问题,表明
RocksDB
的文件已经有问题了。因为是大批量的SST都报了这样的错误,所以我们首先怀疑跟disk有关,看是否是硬件损坏。
siddontang
·
2020-04-01 05:21
每周阅读(2/26/2018)
TiDB源码阅读系列文章(一)序TiDB源码阅读系列文章(二)初识TiDB源码会跟着这个系列读PingCAP的TiDB,至少对于go,rust,raft,
rocksdb
,分布式理论和数据库的概念及实现会有一个不错的学习和了解
Jeff
·
2020-03-19 05:01
工欲性能调优,必先利其器(1)
在测试一段时间之后,我们发现有一台TiKV响应很慢,但是
RocksDB
并没有相关的Stall日志,而且慢查
siddontang
·
2020-03-18 07:47
RocksDB
Java Example
RocksDB
属于嵌入式数据库,没有网络交互接口,必须和服务部署在同一台服务器。
大鹏123
·
2020-03-13 15:00
Leveldb/
Rocksdb
/Accumulo简单比较
Leveldb是一个google实现的非常高效的kv数据库,目前的版本1.2能够支持billion级别的数据量了。在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计。特别是LMS算法,但是Leveldb是单进程的服务,而且它只是一个C/C++编程语言的库,不包含网络服务封装,所以无法像一般意义的存储服务器(如MySQL)那样,用客户端来连接它.LevelDB自己也声明,使用者应该封装自己
sucre03
·
2020-03-10 05:20
Tuning
RocksDB
- Prefix Extractor
通常我们直接将key插入到
RocksDB
里面,不做任何改变,所有的key是按照字节序依依次排列的,Bloomfilter里面也是对整个key的判断。但有些时候,这些机制并不适合。
siddontang
·
2020-03-08 10:22
RocksDB
. MemTable源码分析
MemTableMemTable是一个内存中数据结构,用来保存新写入的还没有flush到SST文件中的数据。读写请求都会经过MemTable新写入的数据都会插入到MemTable中读请求先查询MemTable,再查询SST文件一旦MemTable被写满了,它就变为不可写,并创建一个新的MemTable用来服务由一个后台线程,将已经满的MemTableflush到SST文件中,flush完成后,销毁
周肃
·
2020-03-05 01:41
RocksDB
. BlockBasedTable源码分析
BlockBasedTable
RocksDB
用SST文件(SortedSequenceTable)来存储用户写入的数据.文件中key是排好序的,所以对key的查找操作可以用二分查找完成.BlockBasedTable
周肃
·
2020-03-04 18:42
Overview
Introduction
RocksDB
的项目起源于Facebook的一个实验,希望能够开发一个高效的数据库实现能够在快速存储设备(特别是Flash)上存储数据并服务服务器的负载,同时完全挖掘这类存储设备的潜能
Glitter试做一号机
·
2020-03-03 10:19
RocksDB
. LRUCache源码分析
BlockCache
RocksDB
使用Blockcache作为读cache。用户可以指定Blockcache使用LRUCache,并可以指定cache的大小。
周肃
·
2020-03-01 12:03
基于
rocksdb
的空间放大优化
需求公司很多地方把SSB作为持久化的存储设备,同时SSDs是
Rocksdb
的主要存储介质。公司在各个数据中心内用大量的不同配置的的硬件,并且在大多数简易节点上,配备了1-2个SSD。要存储大量的数据。
luomoxyz
·
2020-02-26 12:32
百度文件系统bfs源码分析系列(前言)
接下来会详细分析bfs的源码,主要是bfs代码的分析资料在网络上几乎没有,不像其他诸如leveldb/
rocksdb
等有较多的参考资料;还有就是之前分析的raft实现并没有结合相关的业务场景去思考更多的可能
fooboo
·
2020-02-25 02:46
PalDB 详解
下面是官方给出的测试图表:读的吞吐量是leveldb和
rocksdb
的5倍内存使用是hashset的1/6使用方式作为一个存储工具包,其使用方式也很简单,一看就会明白://写数据StoreWriterwriter
两棵橘树
·
2020-02-24 01:59
Tuning
RocksDB
- Options
在先前我们讨论了
RocksDB
的statistics和writestall,但这些只能让我们发现问题,最终我们还是需要通过调整
RocksDB
的参数来提升性能。
siddontang
·
2020-02-20 23:12
Flink使用中遇到的问题
一、为啥checkpoint总超时数据处理和barrier处理都由主线程处理,如果主线程处理太慢(比如使用
RocksDB
Backend,state操作慢导致整体处理慢),导致barrier处理的慢,也会影响整体
寇寇寇先森
·
2020-02-08 18:24
从B+树到LSM树,及LSM树在HBase中的应用
而在一些主流的NoSQL数据库如HBase、Cassandra、LevelDB、
RocksDB
中,则是使用日志结构合并树(Log-structuredMergeTree,LSMTree)来组织数据。
LittleMagic
·
2020-02-06 16:51
Flink 清理过期 Checkpoint 目录的正确姿势
通过本文,你能get到以下知识:FlinkCheckpoint目录的清除策略生产环境应该选择哪种清除策略生产环境必须定期脚本清理Checkpoint和Savepoint目录
RocksDB
增量Checkpoint
尼小摩
·
2020-02-05 15:41
Hash存储模型、B-Tree存储模型、LSM存储模型介绍
B-Tree存储模型LSM存储模型不同存储模型的应用情况1、Hash存储模型redismemcache2、B-Tree存储模型MySQL(以及大多数的关系型数据库)MongoDB3、LSM树存储模型HBase
RocksDB
M。
·
2020-02-04 20:00
Hash存储模型、B-Tree存储模型、LSM存储模型介绍
B-Tree存储模型LSM存储模型不同存储模型的应用情况1、Hash存储模型redismemcache2、B-Tree存储模型MySQL(以及大多数的关系型数据库)MongoDB3、LSM树存储模型HBase
RocksDB
M。一直走
·
2020-02-04 20:00
「Flink」
RocksDB
介绍以及Flink对
RocksDB
的支持
RocksDB
介绍
RocksDB
简介
RocksDB
是基于C++语言编写的嵌入式KV存储引擎,它不是一个分布式的DB,而是一个高效、高性能、单点的数据库引擎。
M。
·
2020-02-03 23:00
「Flink」
RocksDB
介绍以及Flink对
RocksDB
的支持
RocksDB
介绍
RocksDB
简介
RocksDB
是基于C++语言编写的嵌入式KV存储引擎,它不是一个分布式的DB,而是一个高效、高性能、单点的数据库引擎。
M。一直走
·
2020-02-03 23:00
how we use
RocksDB
at Rockset
在这篇文章中,我们将会讲述我们在Rockset使如何使用
RocksDB
和对
RocksDB
进行调优从而达到更好的性能的。
倔强swj
·
2020-02-01 17:40
区块链存储子系统设计
存储域包括:bare域(FB),指底层数据库,比如
RocksDB
数据库及其抽象。account域(F
ABCamus
·
2020-01-19 13:40
区块链
基于
RocksDB
的可靠 Kafka producer
https://github.com/artiship/rocks-kafka-producer为什么Kafkaproducer需要持久化队列?Kafka客户端需要注意两种情况:当Kafka集群或brokers不可用时,客户端仍然不停地发送消息,由于Kafka客户端的内存模型设计,数据会一直堆积在内存中而得到释放,一方面过多的内存消耗影响了应用的主要业务,另一方面过多的消费可以存在丢失,为了解决这
Cherryly
·
2020-01-14 19:05
基于BCH业务场景测试LevelDB和
RocksDB
leveldbVS
rocksdb
背景本文的测试场景是模拟BCH中,验证交易的过程中使用DB的场景,这种场景可以总结为脉冲式的读写和删除操作,也就是说,大约每10分钟会触发一次大规模的读操作(交易验证),
wolf4j
·
2020-01-07 16:58
五分钟笔记-
RocksDB
业内有很多关于InnoDB,MyISAM和MyRocks(
RockSDB
)的比较,作为入门者,在此梳理一下有助于更好的了解对应的选型场景及背后的技术原因。
拖鞋花短裤
·
2020-01-07 11:54
RocksDB
系列十九:Iterator Implementation
RocksDB
Iterator
RocksDB
Iterator提供用户以有序的方式前向或者后向遍历DB,也可以seek到DB的特定key上。为了做到这样,Iterator必须以有序流的方式访问DB。
薛少佳
·
2020-01-07 10:12
Log(日志)部分源码剖析- KV存储-LevelDB/
RocksDB
源码剖析和中文注释
SourceCodeChineseCommentshttps://github.com/cld378632668/leveldb_chinese_commentsmainbody1.Log(options_.info_log,"Level-0table#%llu:started",(unsignedlonglong)meta.number);这个日志是由StatusDBImpl::WriteLev
Shadowsocks2
·
2020-01-07 05:39
Rocksdb
源码剖析(2)--基础数据结构(组件)1
前言之所以想尝试写
Rocksdb
源码分析系列,主要的目的:一是对过去工作的总结;二是系统梳理下自己对
Rocksdb
的认识;三是因为自己在分析代码的过程中也参考学习了前人的相关资料,受益很多,而且深入分析
cn_Fly
·
2020-01-06 01:31
Rocksdb
compact调优参数
char{//levelbasedcompactionstylekCompactionStyleLevel=0x0,//Universalcompactionstyle//Notsupportedin
ROCKSDB
_LITE.kCompactionStyleUniversal
中山浪子
·
2020-01-04 16:51
深入理解Flink中的状态实现
的层次结构keyedState=>windowStateOperatorState=>kafkaOffsetstateBackendsnapshot/restoreinternalTimerService
RocksDB
一护_______
·
2020-01-04 15:29
RocksDB
系列十六:Indexing SST Files for Better Lookup Performance
当
RocksDB
收到一条Get()请求时,会依次从memtable、immutablememtable和SSTfiles中去查找。SSTfiles是按照层次组织的。
薛少佳
·
2019-12-31 01:12
RocksDB
系列十五:How we keep track of live SST files
RocksDB
内部有WALlog文件,此外,LSMtree还包含了一些SSTfiles。每经过一次compaction,产出的新文件都会添加到SSTfiles中,而输入的SSTfile会被删除。
薛少佳
·
2019-12-30 07:16
RocksDB
. Bloom Filter源码分析
RocksDB
可能也正是因为这个特性,才选择布隆过滤器来作为默认filter的数据结构。简单地说,布隆过滤器提供了这样的语义:某个元素可能在集合中某个元素一定不在集
周肃
·
2019-12-29 19:51
RocksDB
系列十八:二阶段提交
本文主要讲解了
RocksDB
中二阶段提交的实现。
薛少佳
·
2019-12-28 21:04
Tuning
RocksDB
- Write Stalls
RocksDB
使用LSM的方式用来提升写入的性能,但如果写入过快,超过了
RocksDB
处理的极限,
RocksDB
就会考虑对写入进行降速处理。
siddontang
·
2019-12-27 04:44
RocksDB
. Leveled Compaction原理分析
一
RocksDB
的磁盘数据组织层次1磁盘文件的组织方式
rocksdb
在磁盘上的文件是分为多层的,分别叫做level-0,level-1等等level0上包含的文件,是由内存中的memtabledump到磁盘上生成的
周肃
·
2019-12-26 02:16
RocksDB
系列十七:Repairer
Overview Repairer会在
RocksDB
出现宕机等严重问题时尽最大努力去恢复尽可能多的数据,但是,并不能保证恢复数据库到一个一致性的状态。
薛少佳
·
2019-12-23 15:30
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他