E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hregion
HBASE概念补充
HBASE概念补充HBase的工作方式:hbase中的表在行的方向上分隔为多个
HRegion
,分散在不同的RegionServer中这样做的目的是在查询时可以将工作量分布到多个RegionServer中以提高速度
周蓬勃
·
2016-08-20 23:00
Hbase学习二
空格分隔):Hbase[TOC]一,回顾和复习kudu:集成HDFS和HBase的所有优势,速度是Hbase的10倍二,Hbase架构以及各角色的作用1,client2,Zookeeper====存储所有
HRegion
youfashion
·
2016-04-14 02:00
hbase
Hbase总结
Hbase是一个分布式的列式数据库:分布式、可扩展、面向列存储、存储松散数据的、向下提供存储,向上提供计算,数据存储与数据计算完美结合的数据库2、体系结构:主从服务器结构说明:一张完整的表可能是不保存在多个
HRegion
JavaChaoCo
·
2016-03-19 14:43
数据库和数据仓库
HBASE+PHOENIX性能优化注解
hbase环境配置优化:几个配置参数:hbase.
hregion
.max.filesize:1)当hbase.
hregion
.max.filesize比较小时,触发split的机率更大,而split的时候会将
lingzhiwangcn
·
2016-03-11 15:00
hbase 集群管理
1 查看节点状态链接: 查看hmaster节点:http://hadoop3:60010/ hadoop3是我集群主节点名称 查看
hregion
节点:http://hadoop3:60030
chengjianxiaoxue
·
2016-03-07 16:31
HBase源码分析之HRegionServer上compact流程分析
前面三篇文章中,我们详细叙述了compact流程是如何在
HRegion
上进行的,了解了它的很多细节方面的问题。但是,这个compact在HRegionServer上是如何进行的?
lipeng_bigdata
·
2016-03-05 17:00
HBase源码分析之
HRegion
上compact流程分析(三)
在《HBase源码分析之
HRegion
上compact流程分析(二)》一文中,我们没有讲解真正执行合并的CompactionContext的compact()方法。
lipeng_bigdata
·
2016-03-04 20:00
HBase源码分析之
HRegion
上compact流程分析(二)
继《HBase源码分析之
HRegion
上compact流程分析(一)》一文后,我们继续
HRegion
上compact流程分析,接下来要讲的是针对表中某个列簇下文件的合并,即HStore的compact
lipeng_bigdata
·
2016-03-03 21:00
HBase源码分析之
HRegion
上compact流程分析(一)
compact是指HBase表中
HRegion
上某个ColumnFamily下,部分或全部HFiles的合并。
lipeng_bigdata
·
2016-03-03 20:00
HBase源码分析之MemStore的flush发起时机、判断条件等详情
前面的几篇文章,我们详细介绍了HBase中
HRegion
上MemStore的flsuh流程,以及HRegionServer上MemStore的flush处理流程。
lipeng_bigdata
·
2016-03-01 22:00
HBase源码分析之HRegionServer上MemStore的flush处理流程(二)
源码分析之HRegionServer上MemStore的flush处理流程(一)》遗留的问题之后,本文我们接着研究HRegionServer上MemStore的flush处理流程,重点讲述下如何选择一个
HRegion
lipeng_bigdata
·
2016-03-01 11:00
HBase源码分析之HRegionServer上MemStore的flush处理流程(一)
在《HBase源码分析之
HRegion
上MemStore的flsuh流程(一)》、《HBase源码分析之
HRegion
上MemStore的flsuh流程(二)》等文中,我们介绍了
HRegion
上
lipeng_bigdata
·
2016-02-29 22:00
HBase源码分析之
HRegion
上MemStore的flsuh流程(二)
继上篇《HBase源码分析之
HRegion
上MemStore的flsuh流程(一)》之后,我们继续分析下
HRegion
上MemStoreflush的核心方法internalFlushcache
lipeng_bigdata
·
2016-02-25 23:00
HBase源码分析之
HRegion
上MemStore的flsuh流程(一)
了解HBase架构的用户应该知道,HBase是一种基于LSM模型的分布式数据库。LSM的全称是Log-StructuredMerge-Trees,即日志-结构化合并-树。相比于Oracle普通索引所采用的B+树,LSM模型的最大特点就是,在读写之间采取一种平衡,牺牲部分读数据的性能,来大幅度的提升写数据的性能。通俗的讲,HBase写数据如此快,正是由于基于LSM模型,将数据写入内存和日志文
lipeng_bigdata
·
2016-02-25 21:00
HRegionServer详解
HRegionServer内部管理了一系列
HRegion
对象,每个
HRegion
对应了Table中的一个Region,
HRegion
中由多个HStore组成。
八戒_o
·
2016-01-02 17:00
HRegionServer详解
hbase region 分配方式
HRegionServer--- 负责多个
HRegion
&n
·
2015-11-12 14:00
hbase
HBase-0.95.1源码分析之split
首先,CompactSplitThread中分区的方法主要是以下两个: CompactSplitThread.requestSplit(
HRegion
):检测是否需要分区,如果需要分区则调用requestSplit
·
2015-11-11 17:56
hbase
HBase Scan流程分析
HBase Scan流程分析 HBase的读流程目前看来比较复杂,主要由于: HBase的表数据分为多个层次,
HRegion
->HStore->[HFile,HFile,...,MemStore
·
2015-10-31 10:36
hbase
HBase体系结构剖析
wuyudong.com/archives/154 在上篇文章《HBase简介》中,已经提到过,HBase中的Table中的所有行都按照row key的字典序排列,Table 在行的方向上分割为多个
Hregion
·
2015-10-31 08:29
hbase
Hbase Java API详解
在讲解的时候我首先给大家讲解一下HBase的整体结构,如下图: HBase Master是服务器负责管理所有的
HRegion
服务器,HBase Master并不存储HBase服务器的任何数据,HBase
·
2015-10-28 07:27
hbase
Hbase 学习(五) 调优
1.垃圾回收器调优 当我们往hbase写入数据,它首先写入memstore当中,当menstore的值大于hbase.
hregion
.memstore.flush.size参数中设置的值后,就会写入硬盘
·
2015-10-27 12:10
hbase
Hbase 协处理器
在分析协处理器Coprocessor之前,我们先来总结下客户端发起RPC请求,最终到
HRegion
的过程在客户端操作表中的数据时,会先找到改行的HRegionLocation,然后练习HRegionServer
Johnny_facy
·
2015-09-04 16:52
Hbase
Hbase 协处理器
在分析协处理器Coprocessor之前,我们先来总结下客户端发起RPC请求,最终到
HRegion
的过程 在客户端操作表中的数据时,会先找到改行的HRegionLocation,然后练习HRegionServer
ziye520
·
2015-09-04 16:00
hbase
coprocessor
协处理器
HBase的split分析
HBase在新建一个表的时候,默认会把所有数据都会放在一个
HRegion
上,主节点HMaster根据一定的策略把
HRegion
分配到不同的HRegionServer从节点上,客户端在进行读写操作的时候
Pun_C
·
2015-07-31 17:00
大数据
hbase
HBase数据管理/寻址机制以及行键设计
hbase对数据的管理机制 1.1、hbase中的表很大---bigtable,都是分布式存储在集群的各个regionserver上 1.2、分布式存储时,需要对表进行切分,首先是按行切分成若干个
hregion
datapro
·
2015-06-11 14:00
hadoop
hbase
hbase increment代码
increase increase代码 1.将数据封装为increment对象 2.从increment对象中封装get 3.封装新kv 4.对
HRegion
blackproof
·
2015-06-06 14:00
hbase
increment
hbase increment代码
increase increase代码 1.将数据封装为increment对象 2.从increment对象中封装get 3.封装新kv 4.对
HRegion
blackproof
·
2015-06-06 14:00
hbase
increment
Hbase 学习(五) 调优
1.垃圾回收器调优当我们往hbase写入数据,它首先写入memstore当中,当menstore的值大于hbase.
hregion
.memstore.flush.size参数中设置的值后,就会写入硬盘。
2k10
·
2015-05-11 08:00
HBase读写机制和物理模型
MemStore是内存中的写入缓冲区,数据在永久写入硬盘前在此积累,当其填满时(可以由hbase.
hregion
.memstore.flush.size定义),数据会被刷写到硬盘,生成一个HFile。
amghost
·
2015-04-30 08:24
hbase
【HBase十三】HBase知识点总结
a.显式调用flush,比如flush 'mytable' b.MemStore中的数据容量超过flush的指定容量,hbase.
hregion
.memstore.flush.size
bit1129
·
2015-04-16 14:00
hbase
【HBase十三】HBase知识点总结
a.显式调用flush,比如flush 'mytable' b.MemStore中的数据容量超过flush的指定容量,hbase.
hregion
.memstore.flush.size
bit1129
·
2015-04-16 14:00
hbase
【HBase十三】HBase知识点总结
a.显式调用flush,比如flush 'mytable' b.MemStore中的数据容量超过flush的指定容量,hbase.
hregion
.memstore.flush.size
bit1129
·
2015-04-16 14:00
hbase
hbase mvcc
MVCC相关源码: 在HBase put源码中 http://blackproof.iteye.com/blog/2197710 有mvcc用
hregion
blackproof
·
2015-04-03 18:00
hbase
hbase mvcc
MVCC相关源码: 在HBase put源码中 http://blackproof.iteye.com/blog/2197710 有mvcc用
hregion
blackproof
·
2015-04-03 18:00
hbase
HBase查看表大小&在Hdfs中的具体信息
regionserver中所有表大小hadoopfs-dus/hbase-ROOT-表和.META.表也不例外,-ROOT-表和.META.表都有同样的表结构,关于两表的表结构和怎么对应HBase整个环境的表的
HRegion
JerryDeng
·
2015-03-26 20:46
HRegion
配置:hbase.
hregion
.memstore.flush.size:134217728当Region的所有的memstore(意思是所有HStore的memstore的size的加总)的size超过参数设定的字节数时
Master_Reid
·
2015-03-26 08:57
HBase
hbase 定时进行compact CompactionChecker类
hbase.server.compactchecker.interval.multiplier默认1000 @Override protected void chore() { for (
HRegion
blackproof
·
2015-03-13 17:00
hbase
compact
hbase 定时进行compact CompactionChecker类
hbase.server.compactchecker.interval.multiplier默认1000 @Override protected void chore() { for (
HRegion
blackproof
·
2015-03-13 17:00
hbase
compact
hbase定时memflush PeriodicMemstoreFlusher
判断间隔hbase.server.thread.wakefrequency 默认10S @Override protected void chore() { for (
HRegion
blackproof
·
2015-03-13 16:00
hbase
memflush
hbase定时memflush PeriodicMemstoreFlusher
判断间隔hbase.server.thread.wakefrequency 默认10S @Override protected void chore() { for (
HRegion
blackproof
·
2015-03-13 16:00
hbase
memflush
HBase停止节点报错“pid不存在 ”
HBase停止节点报错,pid不存在的问题 停止HBase节点时报错如下:[root@
hregion
92bin]#/opt/hbase-0.98.7/bin/hbase-daemon.shstopregionservernoregionservertostopbecausenopidfile
zlfwmm
·
2015-01-31 23:03
hbase
节点报错pid不存在
hbase 系统 hbase-site.xml 配置说明
hbase.rpc.engine org.apache.hadoop.hbase.ipc.WritableRpcEngine hbase.
hregion
.max.filesize 10737418240
shenxiaoming77
·
2015-01-20 17:00
HBase Flush操作流程以及对读写服务的影响
Manual调用,HRegionInterface#flushRegion,可以被用户态org.apache.hadoop.hbase.client.HBaseAdmin调用flush操作实现,该操作会直接触发
HRegion
彭苏云
·
2015-01-14 12:00
hbase
flush
HBase内存结构之跳表数据结构浅析
最近学习HBase源码时发现
HRegion
在sotre管理上用到了跳表数据结构ConcurrentSkipListMap:ConcurrentSkipListMap有几个ConcurrentHashMap
mango_song
·
2015-01-07 12:47
HBase
HBASE优化、维护相关
memstore会保存缓冲区中的数据直到超过hbase.
hregion
.memstore.flush.size(建表时可以针对每个表指定这个参数)配置的大小才会刷写(或者客户端调用flushCommitts
zhangxiong0301
·
2014-12-12 15:00
hbase
关于MemStore的刷新方式
关于MemStore的刷新方式:1、MemStore达到上限hbase.
hregion
.memstore.flush.size 默认是128M的时候,会触发MemStore的刷新。
heeee
·
2014-12-11 21:00
大数据系列教程_hbase集群安装
67exportHBASE_HOME=/home/hadoop/hbase09611cdh501exportHBASE_MANAGES_ZK=false6.2、hbase-site.xml hbase.
hregion
.max
AShang_BigData
·
2014-12-06 18:00
大数据
hbase
yarn
masterha
大数据系列教程
HBase 性能优化笔记
HBase性能优化笔记不断更新... 1hbase.
hregion
.max.filesize应该设置多少合适2autoflush=false的影响3从性能的角度谈table中family和qualifier
Zero零_度
·
2014-11-22 16:00
优化
hbase
flush
HBase Scan流程分析
HBase的读流程目前看来比较复杂,主要由于:HBase的表数据分为多个层次,
HRegion
->HStore->[HFile,HFile,...,MemStore]RegionServer的LSM-Like
超人学院
·
2014-11-21 17:00
hadoop
hbase
HBase相关
HBase的伸缩性主要依赖其可分裂的
HRegion
及可伸缩的分布式文件系统HDFS实现。
muzinan110
·
2014-09-30 16:22
hbase
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他