woozooyoo
woozooyoo

HBase.go

HBase

1.2.1、HMaster

功能：

1) 监控RegionServer

2) 处理RegionServer故障转移

3) 处理元数据的变更

4) 处理region的分配或移除

5) 在空闲时间进行数据的负载均衡

6) 通过Zookeeper发布自己的位置给客户端

1.2.2、RegionServer（一个服务进程）

功能：

1) 负责存储HBase的实际数据

2) 处理分配给它的Region(相当于一个table)

3) 刷新缓存到HDFS

4) 维护HLog

5) 执行压缩

6) 负责处理Region分片组件：大表分小表 小合大

1) Write-Aheadlogs （HLog)

HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。

但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Aheadlogfile的文件中，然后再写

入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

2) HFile

这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。

3) Store

HFile存储在Store中，一个Store对应HBase表中的一个列族。

4) MemStore

顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。

5) Region（一个table包含或拆分成若干个region（小表））

Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。

Structure

对于HBase而言，客户端是往里面写数据和读数据的角色

客户端想去访问数据的话，必须找到数据的存放地址，存放地址被称为数据的元数据信息，它放在了zookeeper里面，zookeeper负责维护

regionserver中保存的数据的元数据信息

regionserver会开3台，一台开一个，regionserver里面结构：

1.HLog是预写入日志，它在本地磁盘里。（1个）

2.Region，regionserver里面可以维护管理多个region，region可以理解为一个table （多个）

1)store：一个region里面包含多个store，store是一个存储单元，它不是数据的落脚点，它是一个抽象概念，实际上不存在（多个store

①memstore是内存的一块区域 （一个store只能对应一个memstore）

②storefile是本地磁盘中的一个文件，实实在在的文件，物理上以HFile这样一个文件体现，storefile是一个逻辑概念，对应的实体

HFile，数据会最终落到HFile里面。 （一个store可以对应多个HFile）

读数据流程：

client从zookeeper拿到-ROOT-表的地址location，这张表在哪个regionserver上面放着，返回主机名端口号，client拿到端口号去

regionserver里面去找，这张-ROOT-表的体现形式是一个region，无论多大都不会切分，ROOT这张表实际存储的数据是.META.表的元数据信息，

META表可以有很多个region，META表的元数据信息是可能有很多条的，一个META表对应多条元数据信息存放在ROOT里面，在这里面找到了我要访问

的业务数据的那个region它的元数据信息是在哪一个META表的region里面存储。即它在ROOT表里找到了某一个META表的地址：META-region 1 ，

META的元数据信息就是它的地址，找到META表里的region 1，在region 1里面找业务表B表存放的region 2的存储地址，再到某一个regionserver

找到B表的region 2所在地，找到后就可以访问里面的业务数据。找到region后，尝试从这个store的内存memstore里面把数据读出来，memstore存

的是不是读取的数据，只负责缓存用户最近写入的数据，在memstore里面读到了，就直接返回给client，这样读到的数据是最近client往hbase里

面写的数据，有可能还有另一个线程在并行执行实时往里面写数据，读到memstore里面存的是最近写线程往里面写的数据，不包含读的。

如果memstore里面没有找到，接着会去blockcache内存区域里面找（这一系列内存逻辑控制在regionserver里面，某一个线程的某一个代码，

memstore和blockcache同属于一个JVM堆的，同一个堆内存的两块逻辑区域，两个内存读写分离），blockcache只负责读取数据的缓存。读数据会

先去写数据的缓存memstore找，一般认为想要访问的数据都是最新数据，最新写入的数据有没有你想要的，有直接返回，没有会去最近读的数据的

缓存blockcache里面找有没有缓存我想要的，有直接返回（blockcache里面的算法是LRUCache latest recently use 一个最近的最常使用算法,就

是最小使用的数据按先进先出，进入固定大小的缓存区域，即在缓存区内使用次数频率最低的相同的数据替换最早加入队列的那个），

如果在blockcache里面没有，紧接着去HFile里面找，HFile读的是HDFS，读完后会缓存HFile数据到blockcache内存里面，根据LRU算法缓存到里面

，然后再返回，如果下次client再请求相同的数据，到blockcache就找到了，不用再访问HDFS。经常访问的数据放在blockcache里面。（用到LRUC

ache算法）

写数据流程：

client想写数据，先找到zookeeper，zookeeper里面维护着regionserver的状态信息，要往哪个regionserver里写。zookeeper还存着HMaster

的元数据信息。和regionserverRPC通信，先找到往哪个region（相当于table）写，每个region会维护若干个rowkey（类似于主键id），要写的数

据符合region维护的rowkey范围，就往这个region里面写，先往HLog里面写，写完后在store里面找一个memstore，先写到内存里，假设分配到第

一个store里的memstore，写成功后，虽然还没写到HFile里面，就算这个数据完整写成功，返回成功。什么时候把数据写到HFile里面？达到

memstore的阈值16kb就提交到缓存队列，队列存放的memstore的实例对象memstore 1，随着写数据的增加，队列里面可能有一些没来得及处理的

memstore 2、3、4，队列先进先出把memstore 1往HFile里面溢写，产生一个HFile，每一个写满的memstore都会对应溢写成一个HFile，有一个

线程专门操作溢写，会不停读队列里面提交的memstore数据，往HFile里面溢写。每提交队列一个memstore，store里面都会产生一个新的memstore

用于后面数据的输入，一个store只有一个memstore，是单例的，用完产生一个新的，写完释放内存，为后续新产生的memstore提供资源。16kb会

和16kb合并，regionserver比较闲时才会合并。过小的HFile会合并成大的，过大的HFile拆分成小的，操作由regionserver来完成，调用HDFS

的API，regionserver进程里面有若干个线程，线程里面跑的是代码块，利用代码逻辑实现文件拆分和合并。

这个机制能保证数据不会丢失，HLog存的是本次写数据的操作，数据本身是张3，还有是什么操作：put,delete等，即HLog里面有数据完整的

操作和数据本身，恢复HLog里面的数据即可，先恢复到memstore里面，后续流程一样，当确定memstore数据成功溢写到HDFS时，HLog的刚才这条数

据就删掉，当确定HLog里面所有的数据都已经成功持久化存储到HDFS时候，会把HLog文件标记为Old hlog,在闲暇时删掉这个文件。为什么不直接

写到HFile里面？为了提升效率，批处理比一条数据处理效率多。

regionserver会把达到阈值的memstore里面的数据溢写到HFile里面，HFile现在在本地磁盘，之后regionserver会调用api：HDFSclient，

目的是把生成的HFile文件写到HDFS上面，通过HDFSclient写。HBase会无感知地调用HDFSAPI把文件保存到HDFS上面，保存完之后删除HFile，但是

会保留这个HFile的元数据信息（也就是我这个HFile上传到哪一个DataNode上面了），访问时还是要去那个DN找（HBase而言，操作HDFS是不可见

的，自动操作，无感知的，会造成HDFS支持随机读写的错觉，但其实HDFS不支持）。

regionserver包含多个region的目的是什么？region里包含多个store的原因是什么？当HBase有多个客户端，有两个不同部门，做两个不同业

务，用同一个集群，自己维护自己的表，跟使用关系型数据库一样。这样情况下，可能出现两个客户端同时往里面写数据，同时往里面读数据，同

时操作不同的表，这就意味着一个regionserver要维护多个region。如果只维护一个region意味着，两个业务的表结构一样。regionserver维护的

若干个region，它的表结构可能不一样，可能针对不同业务设计的表。不同业务的表是可以交给同一个regionserver管理的。

HBase 一种是作为存储的分布式文件系统，另一种是作为数据处理模型的 MR 框架。因为日常开发人员比较熟练的是结构化的数据进行处理，

但是在 HDFS 直接存储的文件往往不具有结构化，所以催生出了 HBase 在 HDFS 上的操作。如果需要查询数据，只需要通过键值便可以成功访问

HBase内置有Zookeeper，但一般我们会有其他的Zookeeper集群来监管master和regionserver，Zookeeper通过选举，保证任何时候，集群中只

有一个活跃的HMaster，HMaster与RegionServer启动时会向ZooKeeper注册，存储所有Region的寻址入口，实时监控Regionserver的上线和下线信

息。并实时通知给HMaster，存储HBase的schema和table元数据，默认情况下，HBase管理ZooKeeper实例，Zookeeper引入使得HMaster不再是单点

故障。一般情况下会启动两个HMaster，非Active的HMaster会定期的和ActiveHMaster通信以获取其最新状态，从而保证它是实时更新的，因而如

果启动了多个HMaster反而增加了ActiveHMaster的负担。

一个RegionServer可包含多个Region，每个RegionServer维护一个HLog，和多个HFiles及其对应的MemStore。RegionServer运行于DataNode上

，数量可以与DatNode数量一致。

/opt/module/zookeeper-3.4.10/bin/zkServer.sh start

/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop

1)  创建表

hbase(main) > create 'student','info'

2)  插入数据到表

hbase(main) > put 'student','1001','info:name','Thomas'

hbase(main) > put 'student','1001','info:sex','male'

hbase(main) > put 'student','1001','info:age','18'

hbase(main) > put 'student','1002','info:name','Janna'

hbase(main) > put 'student','1002','info:sex','female'

hbase(main) > put 'student','1002','info:age','20'

3)  扫描查看表数据

hbase(main) > scan 'student'  ======会扫描整张表

hbase(main) > scan 'student',{STARTROW => '1001', STOPROW    => '1001'} （效率途径）

hbase(main) > scan 'student',{STARTROW => '1001'}

4)  查看表结构 hbase(main)> describe 'student'

5)  更新指定字段的数据  覆盖操作

hbase(main) > put 'student','1001','info:name','Nick'

hbase(main) > put 'student','1001','info:age','100'

6)  查看 “指定行”或“指定列族:列”的数据 ======会扫描整张表

hbase(main) > get 'student','1001'

hbase(main) > get 'student','aa101','info'

hbase(main) > get 'student','1001','info:name'

7) 删除数据

删除某rowkey 的全部数据：

hbase(main) > deleteall 'student','1001'

删除某rowkey 的某一列数据：

hbase(main) > delete 'student','1002','info:sex'

8)  清空表数据

hbase(main) > truncate 'student'

尖叫提示：清空表的操作顺序为先disable，然后再truncating 。

9)  删除表

首先需要先让该表为disable 状态：

hbase(main) > disable 'student'

然后才能drop 这个表：

hbase(main) > drop 'student'

尖叫提示：如果直接drop 表，会报错：Drop the named table. Table must first be disabled

ERROR: Table student is enabled. Disable it first.

10)  统计表数据行数  (一个rowkey就是一行)

hbase(main) > count 'student'

11)  变更表信息

将info 列族中的数据存放3 个版本：

hbase(main) > alter 'student',{NAME=>'info',VERSIONS=>3}

HBase作业（一）：

1、画出HBase Client访问HBase读数据的流程图。

2、画出HBase Client访问HBase写数据的流程图。

HBase作业（二）：

1、封装一个公用的HBaseUtil.java

* 创建表

* 删除表

* 批量创建表

* 批量删除表

* 添加单row数据

* 批量添加数据

* 删除单row数据

* 批量删除数据

* 得到所有数据

* 得到指定列的数据

NameNode 1G内存，大概可以存储100万条元数据

如果存储的是日志信息，一次成功的访问，大概产生5条左右的日志信息

每条日志信息大概100~500字节

数据一般冗余2~3份

企业中，中小型规模的集群，NN节点一般是128G左右

磁盘剩余空间要超过20%

你可能感兴趣的:(HBase.go)

  • HBase.go woozooyoo
    HBase1.2.1、HMaster功能：1)监控RegionServer2)处理RegionServer故障转移3)处理元数据的变更4)处理region的分配或移除5)在空闲时间进行数据的负载均衡6)通过Zookeeper发布自己的位置给客户端1.2.2、RegionServer（一个服务进程）功能：1)负责存储HBase的实际数据2)处理分配给它的Region(相当于一个table)3)刷新缓
  • 统一思想认识 永夜-极光 思想
    1.统一思想认识的基础,才能有的放矢  原因:    总有一种描述事物的方式最贴近本质,最容易让人理解.    如何让教育更轻松,在于找到最适合学生的方式.          难点在于,如何模拟对方的思维基础选择合适的方式.   &
  • Joda Time使用笔记 bylijinnan javajoda time
    Joda Time的介绍可以参考这篇文章： http://www.ibm.com/developerworks/cn/java/j-jodatime.html 工作中也常常用到Joda Time，为了避免每次使用都查API，记录一下常用的用法：     /** * DateTime变化（增减） */ @Tes
  • FileUtils API eksliang FileUtilsFileUtils API
    转载请出自出处：http://eksliang.iteye.com/blog/2217374 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • 各种新兴技术 不懂事的小屁孩 技术
    1:gradle Gradle 是以 Groovy 语言为基础，面向Java应用为主。基于DSL（领域特定语言）语法的自动化构建工具。 现在构建系统常用到maven工具，现在有更容易上手的gradle， 搭建java环境: http://www.ibm.com/developerworks/cn/opensource/os-cn-gradle/ 搭建android环境： http://m
  • tomcat6的https双向认证 酷的飞上天空 tomcat6
    1.生成服务器端证书 keytool -genkey -keyalg RSA -dname "cn=localhost,ou=sango,o=none,l=china,st=beijing,c=cn" -alias server -keypass password -keystore server.jks -storepass password -validity 36
  • 托管虚拟桌面市场势不可挡 蓝儿唯美
    用户还需要冗余的数据中心，dinCloud的高级副总裁兼首席营销官Ali Din指出。该公司转售一个MSP可以让用户登录并管理和提供服务的用于DaaS的云自动化控制台，提供服务或者MSP也可以自己来控制。 在某些情况下，MSP会在dinCloud的云服务上进行服务分层，如监控和补丁管理。 MSP的利润空间将根据其参与的程度而有所不同，Din说。 “我们有一些合作伙伴负责将我们推荐给客户作为个
  • spring学习——xml文件的配置 a-john spring
    在Spring的学习中，对于其xml文件的配置是必不可少的。在Spring的多种装配Bean的方式中，采用XML配置也是最常见的。以下是一个简单的XML配置文件： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.or
  • HDU 4342 History repeat itself 模拟 aijuans 模拟
    来源：http://acm.hdu.edu.cn/showproblem.php?pid=4342 题意：首先让求第几个非平方数，然后求从1到该数之间的每个sqrt(i)的下取整的和。 思路：一个简单的模拟题目，但是由于数据范围大，需要用__int64。我们可以首先把平方数筛选出来，假如让求第n个非平方数的话，看n前面有多少个平方数，假设有x个，则第n个非平方数就是n+x。注意两种特殊情况，即
  • java中最常用jar包的用途 asia007 java
    java中最常用jar包的用途 jar包用途axis.jarSOAP引擎包commons-discovery-0.2.jar用来发现、查找和实现可插入式接口，提供一些一般类实例化、单件的生命周期管理的常用方法.jaxrpc.jarAxis运行所需要的组件包saaj.jar创建到端点的点到点连接的方法、创建并处理SOAP消息和附件的方法，以及接收和处理SOAP错误的方法.  w
  • ajax获取Struts框架中的json编码异常和Struts中的主控制器异常的解决办法 百合不是茶 jsjson编码返回异常
    一:ajax获取自定义Struts框架中的json编码  出现以下 问题:       1,强制flush输出  json编码打印在首页 2, 不强制flush js会解析json 打印出来的是错误的jsp页面   却没有跳转到错误页面 3,  ajax中的dataType的json 改为text 会
  • JUnit使用的设计模式 bijian1013 java设计模式JUnit
    JUnit源代码涉及使用了大量设计模式 1、模板方法模式（Template Method）         定义一个操作中的算法骨架，而将一些步骤延伸到子类中去，使得子类可以不改变一个算法的结构，即可重新定义该算法的某些特定步骤。这里需要复用的是算法的结构，也就是步骤，而步骤的实现可以在子类中完成。   
  • Linux常用命令（摘录） sunjing crondchkconfig
    chkconfig --list   查看linux所有服务 chkconfig --add servicename 添加linux服务 netstat -apn | grep 8080  查看端口占用 env 查看所有环境变量 echo $JAVA_HOME 查看JAVA_HOME环境变量   安装编译器 yum install -y gcc
  • 【Hadoop一】Hadoop伪集群环境搭建 bit1129 hadoop
     结合网上多份文档，不断反复的修正hadoop启动和运行过程中出现的问题，终于把Hadoop2.5.2伪分布式安装起来，跑通了wordcount例子。Hadoop的安装复杂性的体现之一是，Hadoop的安装文档非常多，但是能一个文档走下来的少之又少，尤其是Hadoop不同版本的配置差异非常的大。Hadoop2.5.2于前两天发布，但是它的配置跟2.5.0，2.5.1没有分别。 &nb
  • Anychart图表系列五之事件监听 白糖_ chart
    创建图表事件监听非常简单：首先是通过addEventListener('监听类型',js监听方法)添加事件监听，然后在js监听方法中定义具体监听逻辑。 以钻取操作为例，当用户点击图表某一个point的时候弹出point的name和value，代码如下： <script> //创建AnyChart var chart = new AnyChart(); //添加钻取操作&quo
  • Web前端相关段子 braveCS web前端
    Web标准：结构、样式和行为分离   使用语义化标签 0）标签的语义：使用有良好语义的标签，能够很好地实现自我解释，方便搜索引擎理解网页结构，抓取重要内容。去样式后也会根据浏览器的默认样式很好的组织网页内容，具有很好的可读性，从而实现对特殊终端的兼容。 1）div和span是没有语义的：只是分别用作块级元素和行内元素的区域分隔符。当页面内标签无法满足设计需求时，才会适当添加div
  • 编程之美-24点游戏 bylijinnan 编程之美
    import java.util.ArrayList; import java.util.Arrays; import java.util.HashSet; import java.util.List; import java.util.Random; import java.util.Set; public class PointGame { /**编程之美
  • 主页面子页面传值总结 chengxuyuancsdn 总结
    1、showModalDialog returnValue是javascript中html的window对象的属性,目的是返回窗口值,当用window.showModalDialog函数打开一个IE的模式窗口时,用于返回窗口的值 主界面 var sonValue=window.showModalDialog("son.jsp"); 子界面 window.retu
  • [网络与经济]互联网+的含义 comsci 互联网+
          互联网+后面是一个人的名字 = 网络控制系统       互联网+你的名字 =  网络个人数据库       每日提示:如果人觉得不舒服,千万不要外出到处走动,就呆在床上,玩玩手游,更不能够去开车,现在交通状况不
  • oracle 创建视图 with check option daizj 视图vieworalce
    我们来看下面的例子： create or replace view testview as select empno,ename from emp where ename like ‘M%’ with check option; 这里我们创建了一个视图，并使用了with check option来限制了视图。 然后我们来看一下视图包含的结果： select * from testv
  • ToastPlugin插件在cordova3.3下使用 dibov Cordova
        自己开发的Todos应用，想实现“ 再按一次返回键退出程序 ”的功能，采用网上的ToastPlugins插件，发现代码或文章基本都是老版本，运行问题比较多。折腾了好久才弄好。下面吧基于cordova3.3下的ToastPlugins相关代码共享。       ToastPlugin.java package&nbs
  • C语言22个系统函数 dcj3sjt126com cfunction
    C语言系统函数一、数学函数下列函数存放在math.h头文件中Double floor(double num) 求出不大于num的最大数。Double fmod(x, y) 求整数x/y的余数。Double frexp(num, exp); double num; int *exp; 将num分为数字部分（尾数）x和 以2位的指数部分n，即num=x*2n，指数n存放在exp指向的变量中，返回x。D
  • 开发一个类的流程 dcj3sjt126com 开发
    本人近日根据自己的开发经验总结了一个类的开发流程。这个流程适用于单独开发的构件，并不适用于对一个项目中的系统对象开发。开发出的类可以存入私人类库，供以后复用。   以下是开发流程： 1. 明确类的功能，抽象出类的大概结构 2. 初步设想类的接口 3. 类名设计（驼峰式命名） 4. 属性设置(权限设置) 判断某些变量是否有必要作为成员属
  • java 并发 shuizhaosi888 java 并发
    能够写出高伸缩性的并发是一门艺术   在JAVA SE5中新增了3个包 java.util.concurrent java.util.concurrent.atomic java.util.concurrent.locks 在java的内存模型中，类的实例字段、静态字段和构成数组的对象元素都会被多个线程所共享，局部变量与方法参数都是线程私有的，不会被共享。
  • Spring Security（11）——匿名认证 234390216 Spring SecurityROLE_ANNOYMOUS匿名
    匿名认证 目录 1.1     配置 1.2     AuthenticationTrustResolver          对于匿名访问的用户，Spring Security支持为其建立一个匿名的AnonymousAuthenticat
  • NODEJS项目实践0.2[ express,ajax通信...] 逐行分析JS源代码 Ajaxnodejsexpress
      一、前言         通过上节学习，我们已经        ubuntu系统搭建了一个可以访问的nodejs系统，并做了nginx转发。本节原要做web端服务 及 mongodb的存取，但写着写着，web端就
  • 在Struts2 的Action中怎样获取表单提交上来的多个checkbox的值 lhbthanks javahtmlstrutscheckbox
    第一种方法：获取结果String类型 在 Action 中获得的是一个 String 型数据，每一个被选中的 checkbox 的 value 被拼接在一起，每个值之间以逗号隔开(,)。 所以在 Action 中定义一个跟 checkbox 的 name 同名的属性来接收这些被选中的 checkbox 的 value 即可。 以下是实现的代码： 前台 HTML 代码：
  • 003.Kafka基本概念 nweiren hadoopkafka
    Kafka基本概念：Topic、Partition、Message、Producer、Broker、Consumer。 Topic：             消息源（Message）的分类。 Partition：             Topic物理上的分组，一
  • Linux环境下安装JDK roadrunners jdklinux
    1、准备工作 创建JDK的安装目录： mkdir -p /usr/java/   下载JDK，找到适合自己系统的JDK版本进行下载： http://www.oracle.com/technetwork/java/javase/downloads/index.html   把JDK安装包下载到/usr/java/目录，然后进行解压： tar -zxvf jre-7
  • Linux忘记root密码的解决思路 tomcat_oracle linux
    1：使用同版本的linux启动系统，chroot到忘记密码的根分区passwd改密码 　　2：grub启动菜单中加入init=/bin/bash进入系统，不过这时挂载的是只读分区。根据系统的分区情况进一步判断. 　　3: grub启动菜单中加入 single以单用户进入系统. 　　4:用以上方法mount到根分区把/etc/passwd中的root密码去除 　　例如: 　　ro
  • 跨浏览器 HTML5 postMessage 方法以及 message 事件模拟实现 xueyou jsonpjquery框架UIhtml5
    postMessage 是 HTML5 新方法，它可以实现跨域窗口之间通讯。到目前为止，只有 IE8+, Firefox 3, Opera 9, Chrome 3和 Safari 4 支持，而本篇文章主要讲述 postMessage 方法与 message 事件跨浏览器实现。postMessage 方法 JSONP 技术不一样，前者是前端擅长跨域文档数据即时通讯，后者擅长针对跨域服务端数据通讯，p
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他