一、硬件因素Ø内存Hbase对内存有特别的嗜好，因为内存越大，regionserver接受客户端传递来的数据时可以在内存中做缓存（memstore）以及排序，分配给region等操作的限度更大，相当于利用内存作为缓冲池

前会找到这个rowkey应该插在那个region里，这个是容易解决的，因为只要遍历所有region的endrow和startrow即可，找到新的rowkey该放在哪个region下，然后写入该region的memstore

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：深入理解HBaseMemstoreMemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制

刚开始我去修改了限制memstore上限的两个参数hbase.hregion.memstore.block.multiplier=4（集群中默认是2）hbase.hregion.memstore.fl

HBaseMVCC(MultiVersionConsistenceyControl)mvcc多版本并发控制，是相对锁来说对并发处理的一种方法，在HBase中，当writernumber>readenumber表明这个memstore

HBase写数据（比如put、delete）的时候，都是写WAL（假设WAL没有被关闭），然后将数据写到一个称为MemStore的内存结构里面的，如下图

Region分裂当MemStore的数据超过阈值时，将数据溢写磁盘，生成一个StoreFile文件。

RegionServer职责HBase的表数据模型RowKey列族ColumnFamily列Column时间戳CellVersionNum物理存储1、整体结构2、STOREFILE&HFILE结构3、Memstore

Hbase个人笔记中篇Kafka架构原理写流程重点:_root_表(了解)MemStoreFlush(内存刷写)MemStore刷写时机读流程HBase读磁盘慢的原因官方解决HBase读磁盘慢的方法StoreFileCompaction

本文就选取其中一个非常重要的组成部分——MemStore来讲一讲。从RegionServer到Me

由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile

是实际数据存储文件HFile的轻量级封装，每个Store会对应一个MemStore。写入数据时数据会先写入Hlog中成功后在写入MemStore中。Memstore中

setCache和setBatch方法的使用：4.每天百亿数据存入Hbase，如何保证数据的存储正确和规定时间全部录入完毕，不残留数据：5.Hbase是如何预建分区：6.Hbase内部机制是什么：7.MemStore

前面的文章介绍了当达到一定的条件后memstore会flush生成hfile，随着hfile文件逐渐增多，查询可能需要更多的IO操作，为了合并这些hfile文件从而衍生出了compaction操作。

HBase的写流程Client访问zookeeper获取指定的RegionServer的地址（缓存meta表）Client向RegionServer发起写请求，RegionServer接收数据写入内存当MemStore

写入MemStore：然后写入所属Region的MemStore缓存中，此时客户端写入就算成功了。

首先，理解一个概念『MSLAB』,即MemStore-LocalAllocationBuffer。

regionserver.png写文件：WAL---->MemStore--->HFile读文件：BlockCache--->MemStore--->HFileHBaseMastermas

在前面我写过的一篇讲解HBaseMemStore的文章中曾经提到，MemStore（其实也包括Bl

ceph后端支持多种存储引擎，以插件式的方式来进行管理使用，目前支持filestore，kvstore，memstore以及最新的bluestore，目前默认使用的filestore，但是因为filestore

写一下个人看了hbase文章后的一些看法，目录如下，1.Overview2.HBaseArchitecture3.ImportantModule-metatable-regionserver-region-memStore-HFile4

Memstore概述：1：一个region有多个store构成2：一个store有一个memstore和多个hfile，每次flush，他都会新建一个hfile对象3：HBase是基于LSM-Tree模型的

5、然后将数据写入到Memstore。6、如果Hlog和Memsto

31.hbase.systemtables.compacting.memstore.type描述确定要用于系统表（如META，命名空间表等）的memstore类型。

1.split触发时机与策略前面我们已经知道了，数据写入过程中，需要先写memstore，然后memstore满了以后，flush写入磁盘，形成新的HFile文件。

一、hbase的读操作：ZooKeeper---meta--regionserver--region--memstore--storefile1、首先从zookerper找到meta表的region的位置

ceph后端支持多种存储引擎，以插件式的方式来进行管理使用，目前支持filestore，kvstore，memstore以及最新的bluestore，目前默认使用的filestore，但是因为filestore

，那么每一个region中只有一个store如果一个表中有N个列族，那么每一个region中有N个store一个store里面只有一个memstorememstore是一块内存区域，写入的数据会先写入memstore

MemStore是HBase非常重要的组成部分，MemStore作为HBase的写缓存，保存着数据的最近一次更新，同时是HBase能够实现高性能随机读写的重要组成。

一次memstore的flush会产生一个HFile，一次Compact会导致多个HFile合并成一个。本文主要讲述一下HFile文件格式，并介绍一些HBase中是如何读取，写出HFile的。

BlockCache缓存读操作的HFileblock，Memstore缓存近期的写操作，基于HBase是一个响应时间敏感，并且需要对GC时间可控的应用的出发点。

HBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。为什么需要sequenceId?

一、HBase的RK设计HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush

Region，图片来自Map-R1层级结构Table(HBase表)Region(表的Regions)Store(Region中以列族为单位的单元)MemStore(用于写缓存)StoreFile(StoreFilesforeachStoreforeachRegionforthetable

数据发出后首先写入到雨鞋日志WAl中，写入到预写日志中之后，随后写入到内存MemStore中，最后在Flush到Hfile中。

服务端优化什么导致HBase性能下降Jvm内存分配与GC回收策略HBase运行机制相关的配置分配不合理表结构设计及用户使用方式不合理HBase数据存储过程HBase写入时当memstore达到一定大小会

MemStore毕竟是内存里面的数据结构，写到这里面的数据最终还是需要持久化到磁盘的，生成HFile。

1.一个regionserver上有一个blockcache和N个memstore，它们的大小之和必须小于heapsize*0.8，否则hbase不能启动，因为仍然要留有一些内存保证其它任务的执行。

找到对应的的region信息找到相应的HRegionServer找到对应的region先从memstore里面

一.建表技巧1.合理设计列族一张HBase表的列族数量最好控制在三个以内，因为当一个列族的MemStore中的数据量达到阈值时，会引起同一个region的所有columnFamily的MemStore进行

1、flush，从memstore刷到hdfs的时候，只会把内存中同一cell最新的一个版数据刷到hdfs中。

这里的时间戳应该到ms而不是s1scan't1',{COLUMNS=>'c1',TIMERANGE=>[1303668804,1303668904]}功能scan的时候只扫描时间范围内的文件结论写入的时候，更新memstore

1hbase写入流程hbase中无论是新增数据还是修改已有行，其内部流程都是一样的，hbase执行写入时会写到两个地方，write-aheadlog简称wal也叫hlog预写式日志和MemStore，hbase

HBase写数据架构图：HBase写过程如下：先将数据写到WAL中；WAL存放在HDFS上；每次put、Delete操作的数据均追加到WAL末端；持久化到WAL之后，再写到MemStore中；两者写完返回

每个store都有一个写缓存memstore，用于缓存写入的数据。

预写日志RegionService内部架构图，一个RegionServer包含一个BlockCache、一个或多个WAL（默认只有1个，在HBase1.0可以开启MultiWAL功能，开始支持多个WAL。参见HBASE-5699）和多个Region。预写日志（Write-aheadlog，WAL）也称为HLog，WAL在Hbase中有两个核心作用。其一，用于实现数据的高可用性，Hbase随机写入时

目录系统架构物理存储整体的物理结构StoreFile和HFile结构MemStore和StoreFileHbaseWALHLog预写Region寻址机制老的Region寻址方式新的Region寻址方式读写过程读请求过程写请求过程

HBase的读写流程设计写数据：先预写日式WAL，和写入内容MemStore。WAL用来在节点宕机后恢复写入的数据。在MemStore写满后会写入磁盘，生成一个新的HFile，一旦写入不会再修改。

MemStore中的数据按Rowkey字典顺序排序