rocksDB

嵌入式数据库sqlite和rocksdb的介绍以及对比

SQLite和RocksDB都是非常流行的嵌入式数据库系统，但它们的设计理念和应用场景有所不同。下面是对这两个数据库系统的详细介绍以及它们之间的主要区别。

问道飞鱼·2024-09-14 14:33

翻译 Compaction wiki

网址：https://github.com/facebook/rocksdb/wiki/Compaction有道CompactionCompactionalgorithmsconstraintheLSMtreeshape.Theydeterminewhichsortedrunscanbemergedbyitandwhichsortedrunsneedtobeaccessedforareadoper

i_need_job·2024-09-09 17:26

rust嵌入式key/value数据库

文章目录项目介绍sled已知问题如何使用leveldb-rs如何使用rust-rocksdb如何使用lmdb-rs如何使用功能对比性能测试对比插入不同的长度的key/valuemonotonicinsert

kk3909·2024-09-06 07:59

提升代码搜索效率：深入解析现代代码搜索流程

本文将通过图文并茂的方式，详细解释一个高效的代码搜索流程，包括每一步的作用、使用的工具（如TreeSitter、RocksDB），并融入个人对提升代码搜索效率的思考与建议。

yifeiliu338·2024-09-06 04:13

（十六）Flink 状态管理

目录状态类型KeyedStateKeyedState分类状态有效期（TTL）过期数据的清理OperatorStateBroadcastState状态存储StateBackends分类设置StateBackendRocksDBStateBackend

springk·2024-08-25 20:22

Rocksdb Tuning

Rocksdb配置选项尤其繁多，想要获得真正的高性能，需要进行详细的调优，这是项复杂的工作，需要在实践中积累经验：https://www.jianshu.com/p/8e0018b6a8b6https:

MOONICK·2024-08-24 06:25

翻译 Basic Operations Compaction Filter

原文地址:https://github.com/facebook/rocksdb/wiki/Compaction-Filter(有道)RocksDBprovidesawaytodeleteormodifykey

i_need_job·2024-02-09 23:22

Flink大状态和Checkpoint调优

.状态和Checkpoint调优2.1大状态调优我们生产大多数会使用fsState，memState程序挂了状态就丢了，应该没人会在生产使用，但是涉及到一些大状态，fsState效率很低，这时候会选择rocksDbState1

orange大数据技术探索者·2024-02-08 09:18

SpanDB: A Fast, Cost-Effective LSM-tree Based KV Store on Hybrid Storage——论文泛读

例如，在OptaneP4800X上部署RocksDB，相对于SATASSD，对于50%写入的工作负载，吞吐量仅提高了

妙BOOK言·2024-02-08 03:09

MatrixOne---MatrixKV产品体验

如果对TiDB架构比较熟悉的同学可以把MatrixKV等同于一个TiKV+PD，而MatrixKV其中使用的RocksDB换成了Pebb

☞ ♚ ☜·2024-02-06 13:34

ledger-rocksdb

RocksDBisahighperformancembeddeddatabaseforkey-valuedata。https://crates.io/crates/rocksdb

浪迹天涯1188·2024-02-06 01:00

【图文详解】一文全面彻底搞懂HBase、LevelDB、RocksDB等NoSQL背后的存储原理：LSM-tree 日志结构合并树

LSM树广泛用于数据存储，例如RocksDB、ApacheAsterixDB、Bigtable、HBase、LevelDB、ApacheAccumulo、SQLite4、Tarantool、WiredTiger

禅与计算机程序设计艺术·2024-02-02 05:42

翻译 BlobDB

网址：https://github.com/facebook/rocksdb/wiki/BlobDBBlobDBisessentiallyRocksDBforlarge-valueusecases.Thebasicidea

i_need_job·2024-02-01 20:03

RocksDB是如何实现存算分离的

核心参考文献：Dong,S.,P,S.S.,Pan,S.,Ananthabhotla,A.,Ekambaram,D.,Sharma,A.,Dayal,S.,Parikh,N.V.,Jin,Y.,Kim,A.,Patil,S.,Zhuang,J.,Dunster,S.,Mahajan,A.,Chelluri,A.,Datye,C.,Santana,L.V.,Garg,N.,&Gawde,O.(202

archimekai·2024-02-01 04:17

Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】

RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。

PONY LEE·2024-01-30 07:48

flink通过状态快照实现容错

有两种状态后端的实现可用——一种基于RocksDB，一种嵌入式键/值存储，可保持其工作状态disk，以及另一个基于堆的状态后端，该后端将其工作状态保存在Java堆

m0_66520412·2024-01-28 20:30

Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】

Flink实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。

PONY LEE·2024-01-27 08:21

Flink State backend状态后端

老版本的状态后端有三个，分别是MemoryStateBackend、FsStateBackend、RocksDBStateBackend，在flink1.14中，这些状态已经被废弃了，新版本的状态后端是

小枫@码·2024-01-26 08:43

Flink 源码：TM 端恢复及创建 KeyedState 的流程

本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/eaALnpd_qHQg6fxI12fQjg本文会详细分析TM端恢复及创建KeyedState的流程，恢复过程会分析RocksDB

longLiveData·2024-01-24 01:08

ADOC: Automatically Harmonizing Dataflow Between Components in Log-Structured Key-Value Sto...——论文泛读

图1显示了RocksDB在各种存储设备上运行写密集型工作负载的结果。写停顿是普遍的，发生在所有类型的设备上，但触发条件不同；写停顿

妙BOOK言·2024-01-23 11:28

Flink TaskManager 内存管理机制介绍与调优总结

当时Flink社区为了实现三大目标：流和批模式下内存管理的统一，即同一套内存配置既可用于流作业也可用于批作业管控好RocksDB等外部组件的内存，避免在容器环境下用量不受控导致被KILL消除不同部署模式下配置参数的歧义

腾讯云大数据·2024-01-22 08:09

TaskExecutor统一内存配置(FLink FLIP-49翻译)

文章目录目的：(1)解决流、批配置差异大(2)解决Streaming方式RocksDB配置复杂(3)去掉复杂、不确定、难以理解的配置公共接口修改建议统一流处理和批处理内存管理内存使用场景及特点统一显式和隐式内存申请将托管的堆上内存池和堆外内存池分离

LS_ice·2024-01-22 08:38

翻译 RocksDB Overview

网址https://github.com/facebook/rocksdb/wiki/RocksDB-Overview有道RocksDBOverviewhttps://github.com/facebook

i_need_job·2024-01-18 16:27

Flink实例：状态管理State 过期时间TTL

对于这些情况，经常导致堆内存出现OOM，或者堆外内存（RocksDB）用量持续增长导致超出容器的配额上限，造成作业的频繁崩溃。从Flink1.6版本开始引入了

大数据供成屎·2024-01-17 01:44

flink双流ioin的大状态如何解决和调优

使用RocksDB状态后端：将Flink配置为使用RocksDB作为状态后端，RocksDB可以更

暴走的贼宇·2024-01-15 12:55

翻译 Terminology

原文网址：https://github.com/facebook/rocksdb/wiki/TerminologyNOTEforfutureedits:Pleasemaintainentriesinalphabeticalorder2PC

i_need_job·2024-01-11 19:45

常见技术选型

RabbitMQ,Kafka,ActiveMQNoSQLRedis,Memcache分布式计算Blink,Storm,SparkDB关系型TiDB,MySQL,MongoDB,CassandraKVLevelDB,Rocksdb

独处人·2024-01-09 14:46

数据库Database

文章目录关系型数据库数据库对比SQLite示例代码SQL语言运算符非关系型数据库键值对数据库文档型数据库RocksDB示例代码数据库（Database）是用于存储和管理数据的系统。

StoneLiu999·2024-01-06 15:19

kafka 增量快照的使用

增量快照RocksDB支持增量快照。不同于产生一个包含所有数据的全量备份，增量快照中只包含自上一次快照完成之后被修改的记录，因此可以显著减少快照完成的耗时。

pekingK·2024-01-06 08:12

RocksDB系列十四:Partitioned Index Filters

虽然cache_index_and_filter_blocks配置只允许filter/indexblock数据的一部分cache在blockcache中，但是还是会因为数据量的庞大影响RocksDB的性能

薛少佳·2024-01-05 17:48

flink的三个state backend的选择

flink的三个状态MemoryStateBackend默认，小状态，本地调试使用FsStateBackend大状态，长窗口，高可用场景RocksDBStateBackend超大状态，长窗口，高可用场景

gegeyanxin·2023-12-29 09:12

【flink配置系列】FLink配置大全

FLink配置配置基本设置常见设置选项主机和端口容错可重试的清理检查点和状态后端高可用性内存配置杂项选项安全性SSL与外部系统进行身份验证资源编排框架YARNKubernetesStateBackendsRocksDBStateBackendMetricsRocksDB

BigDataMLApplication·2023-12-28 15:03

Rocksdb参数调优指南

本指南的目的是提供你足够的信息用于根据自己的工作负载和系统配置调优RocksDB。RocksDB非常灵活，这有好也有坏。你可以真多很多工作场景和存储技术进行调优。

xiannvlei·2023-12-25 23:57

Rocksdb sst_dump工具的安装和使用

macos系统安装#安装$brewinstallrocksdb#使用命令$rocksdb_ldb$rocksdb_sst_dumplinux系统安装找到rocksdb仓库：Releases·facebook

Mint6·2023-12-25 12:03

RocksDB Merge操作

[TOC]参考官方wiki：Merge-Operator-Implementation官方wiki：Merge-Operator本文主要翻译自官方wiki1.使用方法merge操作主要是为了解决read-modify-write这种操作。将读取，修改，写入的语义封装到一个简单的抽象接口中。允许用户避免重复Get（）调用引起的额外费用。使用后端优化来决定什么时候/如何在不改变语义的情况下合并操作运算

GOGOYAO·2023-12-25 06:31

Flink优化——资源优化（一）

1CPU配置4G内存）并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Keyby之前的算子Keyby之后的算子（KeyGroup最小值为128）Sink端并行度的配置RocksDB

Stray_Lambs·2023-12-24 22:54

【flink】状态清理策略(TTL)

全量快照清理(FULL_STATE_SCAN_SNAPSHOT)增量清理(INCREMENTAL_CLEANUP)rocksdb压缩清理(ROCKSDB_COMPACTION_FILTER)注意，三种状态清理策略不是互斥的

矛始·2023-12-23 10:21

Flink-状态后端

Flink中提供了两类不同的状态后端，一种是“哈希表状态后端”（HashMapStateBackend），另一种是“内嵌RocksDB状态后端”（EmbeddedRocksDBStateBackend）

Stephen6Yang·2023-12-20 08:20

RocksDB实现原理

文章目录简介编译安装RocksDB压缩库UbuntuCentos基本接口高度分层架构LSM-Tree关于访问速度MemTable落盘策略WALRocksDB中的每个更新操作都会写到两个地方：WAL创建时机

ZLOSER02·2023-12-19 12:11

Flink系列之：大状态与 Checkpoint 调优

Flink系列之：大状态与Checkpoint调优一、概述二、监控状态和Checkpoints三、Checkpoint调优四、RocksDB调优五、增量Checkpoint六、RocksDB或JVM堆中的计时器七

最笨的羊羊·2023-12-18 23:27

【Flink】如何在 Flink 中规划 RocksDB 内存容量？

1.概述转载：如何在Flink中规划RocksDB内存容量？主要是自己学习。

九师兄·2023-12-18 15:06

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态

Flink1.8.0中的状态TTL：如何在ApacheFlink中自动清理应用程序状态一、状态的瞬态性质二、用于持续清理应用程序状态的状态TTL三、倒垃圾四、保持完整状态快照干净五、堆状态后端的增量清理六、RocksDB

最笨的羊羊·2023-12-18 07:25

RocksDB 在 vivo 消息推送系统中的实践

作者：vivo互联网服务器团队-ZengLuobin本文主要介绍了RocksDB的基础原理，并阐述了RocksDB在vivo消息推送系统中的一些实践，通过分享一些对RocksDB原生能力的探索，希望可以给使用

vivo互联网技术·2023-12-18 03:46

Flink State 状态原理解析 | 京东物流技术团队

Flink应用运行中会保存状态信息到State对象实例中，State对象实例通过StateBackend实现将相关数据存储到FS文件系统或者RocksDB数据库中。在Flink应用

京东云技术团队·2023-12-16 11:02

数据结构 | Log-Structured Merge Tree (LSM Tree)

LSMTree最先在1996年被提出，后来被广泛运用于现代NoSQL（非关系型数据库）系统中，包括BigTable,Dynamo,HBase,Cassandra,LevelDB,RocksDB,andAsterixDB.LSMTree

赵同学的代码时间·2023-12-16 05:50

Flink-状态流与容错

状态流与容错一、状态概念二、状态实现1.状态触发2.状态存储实现2.1HashMapStateBackend2.2EmbeddedRocksDBStateBackend2.3状态存储对比3.设置状态存储实现

临江蓑笠翁·2023-12-05 05:48

加强版Redis，又一款国产高性能KV存储数据库开源了！

Tendis存储版完全兼容redis协议，并使用rocksdb作为存储引擎。用户可以通过redisclient访问Tendis存储版，几乎不用修改代码。

i_cyy·2023-11-30 07:36

rocksdb减少空间放大

rocksdbleveled压缩文档：https://github.com/facebook/rocksdb/wiki/Leveled-Compaction方法一手动压缩加载完数据后，执行代码：rocksDB.compactRange

不识君的荒漠·2023-11-28 22:26

基于 Jepsen 来发现几个 Raft 实现中的一致性问题(2)

由于NebulaGraph采用的是存储计算分离架构，在存储层实际只是暴露了简单的kv接口，采用RocksDB作为状态机，通过Raft一致性协议来保证多副本数据一致的问题。

NebulaGraph·2023-11-27 03:27

TiDB 6.x基础

1.数据库架构1.1TiKV数据持久化rocksdb强一致副本高可用raft协议MVCC快照读分布式事务Coprocessor1.2TiDB-server处理客户端连接解析与编译sql关系型数据与kv转化执行

HT c++·2023-11-26 05:06

推荐频道