compaction

Linux 内存管理之memory compaction

MemorycompactionThelongstandingmemoryfragmentationproblemhasbeencoveredmanytimesinthesepages.Inshort:asthesystemruns,pagestendtobescatteredbetweenusers,makingithardtofindgroupsofphysically-contiguousp
星空探索·2020-07-12 00:38

LWN：内核中进行更积极地内存整理（compaction）

关注了就能看到更多这么棒的文章哦～ProactivecompactionforthekernelApril21,2020ThisarticlewascontributedbyNitinGupta原文来自：https://lwn.net/Articles/817905/主译：DeepL许多应用场景中，如果使用hugepage的话都可以看到明显的性能提升。然而，huge-pageallocation往
LinuxNews搬运工·2020-07-10 22:55

Linux内核中的page migration和compaction机制简介

我们知道buddy容易产生内存碎片，内核中可以通过给页面设置迁移类型以及compaction机制来预防和处理内存碎片。内存页主要有下面三种类型：1.可移动的（movable）。用户态申请。
落尘纷扰·2020-07-10 17:12

宋宝华：网上坑爹的Linux资料汇总之内存管理

1.compact_memory网上常见文字：“compact_memory只有在启用了CONFIG_COMPACTION选项才有效。
Linux阅码场·2020-07-10 15:35

Task Manager 的设计简述

存储层存在的DBA使用的部分指令，比如：数据完成导入后，想在全局做一次compaction，都是Job范畴。
NebulaGraph·2020-07-09 22:12

HybridDB for PostgreSQL 列存表(AO表)的膨胀、垃圾检查与空间收缩

标签PostgreSQL,Greenplum,垃圾检测,膨胀,列存表,gp_appendonly_compaction_threshold背景Greenplum支持行存储（堆存储）与AO存储，堆存储的垃圾回收和膨胀检测方法请参考
weixin_34384557·2020-07-08 18:11

HBase底层的IO行为

HBase底层的IO行为目录1、Flush的工作原理2、Compaction的原理3、Region的split工作原理4、WAL的原理1、Flush的工作原理Flush的触发条件：1.
MypmahckII·2020-07-08 02:51

Cassandra 删除机制

当过期时间到达的时候，tombstone数据在Cassandra执行Compaction操作的时候会被真正的从磁盘上删除。
伊凡的一天·2020-07-07 19:37

Cassandra write path(2)

Cassandra会将Memtable中的数据刷到SSTable中.SSTable是不可修改的SSTable是按照token排序的同时包含了Memtable中的数据被刷到SSTable时Memtable当时的状态信息Compaction
_呆瓜_·2020-07-06 14:34

Rocksdb Compaction原理

概述compaction主要包括两类：将内存中imutable转储到磁盘上sst的过程称之为flush或者minorcompaction；磁盘上的sst文件从低层向高层转储的过程称之为compaction
weixin_34337265·2020-07-06 01:38

LSM Tree-Based存储引擎的compaction策略（feat. RocksDB）

前言这篇从半个月前就开始写，断断续续写到现在，终于能发了（被简书吞了好几次），不容易。最近笔者正在补习与RocksDB底层相关的细节，因为：次要原因——当前所有Flink实时任务的状态后端都是RocksDB；主要原因——将来会利用TiDB搭建HTAP服务。TiDB与我们现有的MySQL可以无缝衔接，并且它的基础正是RocksDB。RocksDB与笔者多次讲过的HBase一样，都属于基于LSM树的存
LittleMagics·2020-07-05 01:48

leveldb之Compaction的过程

为了加快读取速度，levelDb采取了compaction的方式来对已有的记录进行整理压缩，通过这种方式，来删除掉一些不再有效的KV数据，减小数据规模，减少文件数量等。
坚持到底cw·2020-07-04 13:04

Rocksdb Compaction 源码详解（一）：SST文件详细格式源码解析

FootermetaindexblockfiltermetablockindexmetablockCompressionDictmetaBlockRangedelmetaBlockPropertiesmetablockdatablock详细格式及实现总结前言compaction
勤学996·2020-07-04 09:54

HBase Compaction（2）

上一篇文章主要基于工作流程对compaction进行了介绍，同时说明了compaction的核心作用是通过合并大量小文件为一个大文件来减少hfile的总数量，进而保证读延迟的稳定。
Wei-L·2020-07-04 06:30

rocksdb compaction流程理解

1、首先通过每层的分数score来决定那个level可以进行compaction操作。
XZY028·2020-07-04 03:30

Kafka幂等性实现简析

前言昨天写的关于compaction的长文连续被简书误炸，只能发邮件申诉。暂时不管它了，moveon。
LittleMagics·2020-07-02 13:42

如何判断RocksDB中的文件是否过期？

RocksDB底层存储结构是LSM，有很多Level的sst文件，sst文件需要定期compaction。
区块链从业者·2020-07-02 05:36

深入浅出系列Hbase之memstore flush、compaction

MemstoreFlush介绍MemstoreFlush深度解析请阅读：http://hbasefly.com/2016/03/23/hbase-memstore-flush/触发条件memstore级别限制：当region的任意一个store的memstore的size，达到hbase.hregion.memstore.flush.size（默认128M），会触发memstoreflush操作r
流一恩典·2020-07-01 21:39

Hbase Compaction 过程

1.minorCompactionHBase会自动选择一些较小的HFile，并将它们重写成更少且更大的Hfiles，这个过程称为MinorCompaction。MinorCompaction通过将较小的文件重写为较少但较大的文件来减少存储文件的数量，执行合并排序。Minor操作只用来做部分文件的合并操作，不做任何删除数据、多版本数据的清理工作。Minor通常会把数个小的相邻的StoreFile合并
似梦似意境·2020-07-01 11:48

HBase的RegionServer参数配置

调优：小region对split和compaction友好，因为拆分region或compact小region里的storefile速度很快，内存占用低。缺点是split和com
michael_zhu_2004·2020-07-01 03:36

深度 | X-Engine的In-Memory读性能优化

X-Engine的设计哲学与传统基于LSM-tree架构的Rocksdb等引擎并不完全一致，如下图所示：设计关键点1：X-Engine磁盘上的数据，在常态下只有两层（L1/L2），L0层是MemTable在compaction
阿里云数据库·2020-06-30 17:42

RocksDB整理

memtable，保证failure后用WAL恢复memtable；当memtable刷到disk后，对应log废弃，过一段时间后删除LevelDB删除操作也是插入，只是标记Key为删除状态，真正的删除要到Compaction
yi_1973·2020-06-30 07:26

RPC_hbase HreginonServer

因为了解了hbase的rpc机制能够很快通过debug深入理解hbase各种机制（比方说flush，compaction，scan等请求）的流程。
thoughtCodes·2020-06-29 23:46

Task Manager 的设计简述

存储层存在的DBA使用的部分指令，比如：数据完成导入后，想在全局做一次compaction，都是Job范畴。
图数据库NebulaGraph·2020-06-29 12:11

leveldb:DB::Open创建一个新数据库或者打开一个已存在的数据库

随着更新与Compaction的进行，LevelDB会不断生成新文件，
uestc-leon·2020-06-28 19:29

RocksDB 的常用调优参数

ParallelismRocksDB有两个后台线程，flush和compaction，两个都可以同时并行执行。
uestc-leon·2020-06-28 19:58

hbase的从节点全被我搞挂了

主要的报错:java.net.SocketException:Toomanyopenfiles我怀疑是写入的数据量过大，后期的时候又要一直做compaction合并操作，最后给弄挂掉了。昨天加了一个新
千里风雪·2020-06-27 04:24

深入理解 HBase Compaction 机制

今天要探讨的Compaction机制就是HBase架构上做的一个重要优化，其实关于HBase的架构设计、Flush&Compaction等文章已经多不胜数了，本文也是主要参考HBase官网、社区的一些文章总结
大数据技术架构·2020-06-27 01:45

rocksdb配置参数

配置参数：参数含义附加说明[DBOptions]new_table_reader_for_compaction_inputs=falserecycle_log_file_num=0avoid_flush_during_shutdown
勤学-365·2020-06-25 01:24

HBase(三): HBase(CDH)生产调优

文章目录基于MemStoreflush触发的生产调优memstore级别限制:region级别限制：RegionServer级别限制（影响最大）：Hlog级别限制定期级别限制手动级别HBase合并合并Compaction
冬瓜螺旋雪碧·2020-06-24 02:55

HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试)

首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要rowsize稍小一点，不管你怎么压，HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？总之网上大部分测试都是黑盒测试嘛，大家也就乱猜呗。下面我仔细来分析下原因，并
牛_plus_plus·2020-06-24 00:56

深入分析HBase Compaction机制

Compaction介绍Compaction是buffer->flush->merge的Log-StructuredMerge-Tree模型的关键操作，主要起到如下几个作用：1）合并文件2）清除删除、过期
hljlzc2007·2020-06-23 14:56

wal与db分区磁盘util较高

在使用cephfs上层业务进行数据写入的时候，wal与db所在分区的util值较高，可能是由于bluestone的compaction导致，具体排查如下iotop查看查看是否有较多的rockdb：bg0
我是打杂的哈·2020-06-22 16:42

leveldb源码剖析----compaction

根据前面的分析，背景线程的主体工作在BackgroundCompaction函数中完成。这个函数主要完成以下两个工作：如果imm_非空，则将imm_写入到磁盘中生成新的sstable文件对level中的文件进行合并。合并的目的主要是避免某个level中sstable文件过多，并且可以通过合并的过程删除掉过期的key-value和被用户删除的key-value。这篇文章主要是从BackgroundC
gswen·2020-06-22 06:47

kudu 性能优化:

kudu性能优化:1,maintenance_manager_num_threadsKudu后台对数据进行维护操作，如flush、compaction、inserts、updates、anddeletes
GYY22897·2020-06-21 20:42

2020-06-18

1.自我介绍2.HBase1.compaction2.列族和HFile3.何时用hdfs何时用hbase4.meta表3.hive1.内部表外部表2.开窗函数3.udf函数4.计算指标5.格式，压缩格式
大数据修行·2020-06-18 15:53

HBase StoreFile Compaction

Compaction分为两种，分别是MinorCompaction和MajorCompactio
这个妹妹我见过的·2020-06-14 10:00

hbase-compact剖析

前面的文章介绍了当达到一定的条件后memstore会flush生成hfile，随着hfile文件逐渐增多，查询可能需要更多的IO操作，为了合并这些hfile文件从而衍生出了compaction操作。
Demo_zfs·2020-05-28 10:36

Task Manager 的设计简述

存储层存在的DBA使用的部分指令，比如：数据完成导入后，想在全局做一次compaction，都是Job范畴。
NebulaGraph·2020-05-27 09:00

LevelDB 完全解析（3）：SSTable

SSTable由compaction生成：MinorCompact
linjinhe·2020-05-05 16:09

opentsdb探索之路——部分设计与实现

opentsdb概览(overview)opentsdb存储细节(Writing)rowkey的设计rowkey的具体实现压缩(compaction)追加模式(appends)opentsdbUID的分配
行无际·2020-04-06 22:00

HBase Compaction-(3)Compaction可以并发么

解析在Compaction时，是有一个线程池的。我们来看一下:ThreadPoolExecutor
AlstonWilliams·2020-04-06 21:56

Designing a Controller-Sub-controller Compaction Points Tab-1

查看压实点曲线从上图可以看出，输出压实曲线被绘制在单个屏幕上。可以通过移动行和列之间的分界线来调整曲线大小。无论我们的目标是增加或减小图的尺寸，都可以通过将分配器向左或向右拖动来调整其大小。使用鼠标右键菜单软件还拥有压实点及控制目标作用可视化的其它功能。要访问这些绘图功能，请右键相应的压实点图像。从而打开下面菜单，揭示了可供用户使用的选项。若仅要查看工作区中的某个图，按以下步骤：1.单击选中该图；
橡果·2020-04-04 10:33

leveldb源码解析之二Put实现

Put的实现讲的还是偏上层的，因为Put可能引发compaction，而compaction等细节内容还是需要专门一篇文章才能描述清楚。那么我们开始吧！
戈风·2020-04-01 03:47

AIDA-Glossary of Terms 专业术语-1

离散数据采样过程中丢失或损坏的信息.APC：先进过程控制.ARX：外因输入模型自回归.BadSlice：坏区对数据窗口中的数据指定为BAD且不用于技术计算.Bias：偏差在统计方面，这指的是一个统计变量的预期值和得到的值之间的偏差.Compaction
橡果·2020-03-30 10:58

Designing a Controller-Sub-controller Compaction Points Tab

权重窗口字段和按钮MVWeights（MV权重）Name（名称）子控制器中操作变量的名称。**DampingFactor（阻尼系数）**操作变量的速度因子。Weight（权重）操作变量的权重因子。CVWeights（CV权重）Name（名称）子控制器中被控变量的名称。Deviation（偏差）被控变量的工程单位偏差。Weight（权重）被控变量的权重因子。若要将dampingfactors（阻尼系
橡果·2020-03-29 17:34

HBase Compaction-(2)ExploringCompactionPolicy以及RatioBasedCompactionPolicy

在这篇文章中，我会介绍，ExploringCompactionPolicy以及RatioBasedCompactionPolicy，是如何选择需要HStoreFile来进行Compaction。
AlstonWilliams·2020-03-23 12:42

Designing a Controller-Sub-controller Compaction Points Tab-2

压实点网格选项字段和按钮SettlingTimeestimate(frommodel)（从模型中设定估计时间）指示达到稳态所需要的时间（子控制器周期的倍数，分钟或秒）。Calculator（计算器）根据用户指定的输入时域和设定时间（见下文）重新计算压实点。输入ControlPeriod×dT（控制周期×dT）子控制器周期中的输入压实点列表。Minutes/Seconds（分/秒）表示成时间单位的输
橡果·2020-03-17 06:26

「从零单排HBase 05」核心特性region split

当HFile文件数量不断累积，Regionserver就会触发compaction机制，把小文件合并为大的HFIle。当每次flush完成或者compacti
阿丸·2020-03-13 21:00

「从零单排HBase 04」HBase高性能查询揭秘

先给结论吧：HBase利用compaction机制，通过大量的读延迟毛刺和一定的写阻塞，来换取整体上的读取延迟的平稳。
阿丸·2020-03-11 19:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他