rocksDB

RocksDB系列十八：二阶段提交

  本文主要讲解了RocksDB中二阶段提交的实现。
薛少佳·2019-12-28 21:04

Tuning RocksDB - Write Stalls

RocksDB使用LSM的方式用来提升写入的性能，但如果写入过快，超过了RocksDB处理的极限，RocksDB就会考虑对写入进行降速处理。
siddontang·2019-12-27 04:44

RocksDB. Leveled Compaction原理分析

一RocksDB的磁盘数据组织层次1磁盘文件的组织方式rocksdb在磁盘上的文件是分为多层的，分别叫做level-0,level-1等等level0上包含的文件，是由内存中的memtabledump到磁盘上生成的
周肃·2019-12-26 02:16

RocksDB系列十七:Repairer

Overview  Repairer会在RocksDB出现宕机等严重问题时尽最大努力去恢复尽可能多的数据，但是，并不能保证恢复数据库到一个一致性的状态。
薛少佳·2019-12-23 15:30

RocksDB系列二十:Simulation Cache

  SimulationCache(SimCache)可以帮助用户在模拟的内存容量而不是物理上实际占用内存下预测blockcache的性能数据，比如：hit、miss。Motivation  帮助用户调优参数：blockcachesize、更高效地使用内存。另外，也可以帮助用户了解faststorage的cache性能。Introduction  SimCache的基本思想是根据要模拟的容量封装正
薛少佳·2019-12-20 00:21

RocksDB系列二十一:持久化读缓存

RocksDB的持久化读cache尝试以一种对设备无感知且独立于操作系统的方式来充分发挥分层存储架构的优点。TieredStora
薛少佳·2019-12-17 17:15

arm编译mysql及xtrabackup报错

mysql_release-DCMAKE_INSTALL_PREFIX=/usr/local/mysql-DIGNORE_AIO_CHECK=1-DWITH_READLINE=0-DWITH_EDITLINE=bundled-DWITH_ROCKSDB
龙飞1107·2019-12-16 16:06

RocksDB系列二十二:RocksDB使用场景和特性

  存储和访问数百PB的数据是一个非常大的挑战，开源的RocksDB就是FaceBook开放的一种嵌入式、持久化存储、KV型且非常适用于faststorage的存储引擎。  
薛少佳·2019-12-14 10:31

IOS DB技术框架对比

key-value数据库，代表有Realm、LevelDB、RocksDB等。CoreData它是苹果内建框架，和Xcode深度结合，可以很方便进行ORM；但其上手学习成本较高，不容易掌握。
孔雨露·2019-12-12 11:12

基于RocksDB实现精准的TTL过期淘汰机制

欢迎关注我们的公众号：OPPO_techParker是OPPO互联网自研的一个基于RocksDB的分布式KV存储系统，它是一款类Redis的存储系统，主要解决的是用户使用Redis遇到的内存超限启动恢复时间长
OPPO互联网技术·2019-12-08 20:51

rocksDB 安装教程

rocksDB是一个嵌入式的数据库，这里不要把它想象成MySQL这样的数据库服务了，它类似于sqlLite。我们这里是安装教程，所以对其概念以及特点不做过多概述。
杨康他兄弟·2019-12-03 17:09

独家｜rocksdb compaction限速实践与源码分析

导语：磁盘IO利用率是研究存储的同学十分关注的指标，本文介绍了58存储团队在使用rocksdb时针对IO毛刺场景的调优实践，分析了rocksdbcompaction限速部分的源码，通过调优，有效地减少IO
58技术·2019-12-02 18:03

LSM upon SSD

近年来，以LevelDB和Rocksdb为代表的LSM（Log-StructuredMerge-Tree）存储引擎凭借其优异的写性能及不俗的读性能成为众多分布式组件的存储基石，包括我们近两年开发的类Redis
CatKang·2019-11-29 20:02

TableCache - KV存储-LevelDB/RocksDB源码剖析和中文注释

Overview每创建一个sst文件时，就将这个文件的添加进table_cache中。这是有理由的，因为新创建的文件，也必定是最新的，所以在一定程度上可能马上就被要使用到。因为查询键值对时，就是从level0文件开始查询的，也就是最新的文件。value为这个sst文件的TableAndFile结构体指针，然后这个TableAndFile是由RandomAccessFile指针和Table指针组成。
Shadowsocks2·2019-11-29 10:51

flink rocksDB配置

flink目前支持三种backendmemoryfsrocksdb个人认为如果要用就用rocksdb吧，毕竟性能还是可以的，加入磁盘来存储状态可以减少oom的风险。
Moon_Storm·2019-11-29 03:27

Centos 7 安装RocksDB完整过程

[root@es1~]#yum-yinstalllrsszgitgccgcc-c++lz4-devel已加载插件：fastestmirrorDeterminingfastestmirrorsepel/x86_64/metalink|8.7kB00:00:00*base:mirrors.tuna.tsinghua.edu.cn*epel:mirrors.tuna.tsinghua.edu.cn*ex
xingzhehxiang·2019-11-22 14:39

Centos 7 安装RocksDB

1、安装依赖yum -y install lrzsz git gcc gcc-c++ lz4-devel yum -y install snappy snappy-devel zlib zlib-devel bzip2 bzip2-devel lz4 lz4-devel zstd2、下载安装cmake（gflags-2.2.2对cmake版本有要求）curl -O   https://cmake.
xingzhehxiang·2019-11-22 11:44

LSM简介

目前，LSM被很多存储产品作为存储结构，比如ApacheHBase,ApacheCassandra,MongoDB的WiredTiger存储引擎,LevelDB存储引擎,RocksDB存储引擎等。
linjinhe·2019-11-06 23:18

pink高性能网络框架源码分析

360开源的pink高性能网络框架，会列出一些主要技术实现点，其中用到了slash里的部分基础代码，建议clone到本地一起分析，看这个主要是为了分析后面的floyd代码，即raft工程实现(这里也关联了rocksdb
fooboo·2019-11-01 06:31

Rocksdb源码剖析（一）----Rocksdb概述与基本组件

关注公众号后回复：tensorflow即可下载~~公众号：源码之心源码之心因为本人对一些经典的开源项目很有兴趣，也想从大牛设计的开源系统中学习架构设计经验，所以喜欢分析一些开源代码，这次因为项目中需要使用rocksdb
cn_Fly·2019-11-01 02:07

RocksDB Rate Limiter源码解析

这次的项目我们重点关注RocksDB中的一个环节：RateLimiter。其实RateLimiter的思想在很多其他系统中也很常用。
Pentium.Labs·2019-10-29 12:00

MyRocks built-in percona(8.0.13-4)

我在将RocksDB引擎作为内置引擎编入percona的经历更新（2019.10.21）按照原文的修改方式的确引起了mtr单元测试log_components_filter故障，在之前基础上的bugfixpatch
王晓宇_xiaoyuwang·2019-10-21 19:24

AutoTiKV：基于机器学习的数据库调优

作者：吴毅王远立TiKV底层使用了RocksDB作为存储引擎，然而RocksDB配置选项很多，很多情况下只能通过反复测试或者依靠经验来调优，甚至连RocksDB的开发者都自嘲，他们没办法弄清楚每个参数调整对性能的影响
PingCAP·2019-10-14 21:03

高性能存储引擎RocksDB总体概览

文章目录前言RocksDB的整体模块RocksDB内部模块解读TerminologyBasicOperationSystemBehaviorLogging/MonitoringTool引用前言笔者最近在学习一个第三方高效
Android路上的人·2019-10-13 22:40

RocksDB 性能测试（全网搜集）

https://en.wikipedia.org/wiki/MyRocks#Benchmarksperconahttps://www.percona.com/blog/2018/04/30/a-look-at-myrocks-performance/http://baijiahao.baidu.com/s?id=1599227245729254474&wfr=spider&for=pcresult
西门仙忍·2019-09-27 10:19

Java RocksDB安装与应用

rocksDB是一个可嵌入的，持久性的key-value存储。
·2019-09-23 01:53

RocksDB线程局部缓存

概述在开发过程中，我们经常会遇到并发问题，解决并发问题通常的方法是加锁保护，比如常用的spinlock，mutex或者rwlock，当然也可以采用无锁编程，对实现要求就比较高了。对于任何一个共享变量，只要有读写并发，就需要加锁保护，而读写并发通常就会面临一个基本问题，写阻塞读，或则写优先级比较低，就会出现写饿死的现象。这些加锁的方法可以归类为悲观锁方法，今天介绍一种乐观锁机制来控制并发，每个线程通
天士梦·2019-09-22 14:00

Rocksdb基本用法

rocksdb用法简单介绍RocksDB是使用C++编写的嵌入式kv存储引擎，其键值均允许使用二进制流。由Facebook基于levelDB开发，提供向后兼容的levelDBAPI。
盛夏落木·2019-09-21 18:00

InterValue项目周报：20190909-20190915

messages的执行结果是否正确；在新加入节点每个事件保持持久性之后立即添加post-function功能；修复新加入节点某些事件导致程序终止的bug；完成新加入节点获取事件的本机执行；在新加入节点Rocksdb
InterValue·2019-09-17 15:19

InterValue项目周报：20190902-20190908

Localfullnodev2初始化流程；进行新节点加入Toubleshoot事件同步功能编码；完成新加入节点如何构建和解析消息密钥的代码封装；实现新节点加入Event同步方法；进行新节点加入debug；通过Rocksdb
InterValue·2019-09-12 14:21

Apache Flink 在快手的应用与实践

在快手应用场景2.Flink集群规模1.场景优化1.1IntervalJoin应用场景1.2IntervalJoin场景优化1.2.1IntervalJoin原理：1.2.2状态存储策略选择1.2.3RocksDB
run_bigdata·2019-09-09 00:00

Rocksdb参数总结

CompressionType：压缩类型kNoCompression=0x0,kSnappyCompression=0x1,kZlibCompression=0x2,kBZip2Compression=0x3,kLZ4Compression=0x4,kLZ4HCCompression=0x5,kXpressCompression=0x6,kZSTD=0x7,//用ZSTDlib的时候版本比0.8.
机智帅气的葫芦娃·2019-09-06 09:25

RocksDB 之Write Ahead Log（WAL）

OverviewRocksDB中有三个基本的数据结构概念：memtable,sstfile和logfilememtable是个内存数据结构，新写入会插入memtable切回选择性地写入logfile。
TuringM·2019-09-03 20:00

RocksDB有哪些好的文章和资料（markDY）？

RocksDB有哪些好的文章和资料（markDY）？
chenxuanhanhao·2019-09-01 16:39

Apache Flink 在快手的应用与实践

在快手应用场景2.Flink集群规模1.场景优化1.1IntervalJoin应用场景1.2IntervalJoin场景优化1.2.1IntervalJoin原理：1.2.2状态存储策略选择1.2.3RocksDB
大数据技术与架构·2019-08-27 23:10

MVCC/分布式事务简介

之前我们学习了RocksDB，但这还只是一个最基础的存储引擎。如果想把它在生产环境中用起来，还需要解决很多问题：如何从单机扩展到分布式？如何实现事务，并对事务进行并发控制？用户接口能不能高级一点？
Pentium.Labs·2019-08-20 18:00

AppBoxFuture: 123挨个站-数据按序存储

由于所有数据（元数据、实体、索引等）都映射至RocksDB的Key-Value存储，所以必须扩展RocksDB的自定义比较器（Comparator）来实现自定义Key的排序规则。
白菜园·2019-08-06 11:00

Flink 再谈State Backends

每隔半小时重启，但开了（ck）checkpoint，采用RocksDBS发现很少出先slot丢失重启。一直不明白，开始以为ck会消耗性能，没开CK为什么会经常重启。问了相关人员、查了相关文档才明白。
小白鸽·2019-07-30 14:47

Flink Local state VS External State

StateBackendSupportlocalstateLocalstatebackendsmaintainallstateinlocalmemoryoroutof-core,withinanembeddedkey-valuedatabasesuchasRocksDB.Out-of-coreaccessispreferredinproductiondep
拓荒者001·2019-07-29 17:45

RocksDB介绍

RocksDBRocksDB介绍B+树LSM树（Log-StructuredMergeTree）LevelDB特点RocksDB对LevelDB的优化RocksDB写入与删除RocksDB读取记录RocksDB
naturaltao·2019-07-28 12:48

AppBoxFuture: 二级索引及索引扫描查询数据

一、存储结构：  在介绍索引前先了解一下数据与索引是以何种结构存储于RocksDB内的，每个节点的RocksDB实例都包含以下两个ColumnFamily，每个列簇的存储结构如下:1.Ta
白菜园·2019-07-24 17:00

【4.分布式存储】-设计总结【精】

举个例子：有buf的系统，避免Inode和数据和内核缓存可以，元数据放入rocksdb，NVRAM作为rocksdb的WAL,rocksdb用SSD，数据放入磁盘裸设备中
梦想家·2019-07-22 00:00

rocksdb环境下NVMe SSD测试结果分享

近年来，经典的关系型数据库仍然占着霸主地位，Memblaze很多研究是针对MySQL等关系型数据库进行的，比如《混合介质的多命名空间管理优化MySQL数据库性能》中提到的混合介质的多命名空间管理，就是一项无需MySQL改动配置便可以在开启Doublewrite的同时降低NVMeSSD写放大，提高性能和寿命的技术。关系型数据库盛行，但是数据库市场也并非一成不变，随着NoSQL，特别是以TiDB为代表
memblaze_2011·2019-07-16 17:39

rocksdb vs leveldb

阅读更多1、RocksDB也开始支持HDFS，允许从HDFS读取数据。而LevelDB则是一个比较单一的存储引擎2、RocksDB支持一次获取多个K-V，还支持Key范围查找。
xiajs·2019-07-09 16:00

rockdb 原理

1.结论（1）rocksdb根据分层触发条件触发compaction操作（2）rocksdb做merge后，会根据原来的sst数据文件合成新的sst，然后在checkpoint的时候，生成新的hdfs文件
mapeng765441650·2019-07-05 09:36

Ozone数据探查服务的增量数据更新机制

文章目录前言Ozone数据探查服务：ReconServerReconServer基于Checkpoint获取定期DBSnapshot的弊端RocksDB基于UpdateWAL的Delta更新引用前言笔者之前写过一篇关于存储系统数据探查分析的文章
Android路上的人·2019-07-02 23:43

50亿加密手机号md5快速存储及检索，rocksDB、redis等探索

首先需求比较简单，将所有的号码段（如130、131、132）的全部手机号的md5和其对应的手机号存起来，将来传入一批手机号的md5，能迅速给出对应的明文手机号。这样的存储业务在dsp系统中会有类似的场景，可能放的是imei号，cookie等。一个手机号是11位，一个号段如130的全部手机号有1亿个，即1300000000-13099999999。将他们全部存起来，key为md5（手机号），valu
天涯泪小武·2019-07-01 12:32

MySQL_day7

支持高可用3.种类showengines可查看当前mysql中支持的所有引擎存储引擎作用在表上，因此不同的表可以使用不同的存储引擎常见的有：innodbmyisammemory4.其他存储引擎tokuDBrocksDBmyrocks
十指流玉I·2019-06-25 20:07

内存顺序

utm_content=m_1000018012这篇文章主要介绍内存顺序（MemoryOrder），然后会结合RocksDB|LevelDB中的SkipList源码来具体分析RocksDBSkipList
蓝猫_虹·2019-06-24 14:51

RocksDB 入门

1.基本介绍RocksDB是Facebook开源的一个k-v存储组件，支持点查找和范围扫描，并提供ACID保证。实现架构主要参考的是开源的leveldb和hbase的设计思想。
五山小新新·2019-06-24 00:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他