hlog

hbase 备份

1、  replication，通过类似mysql 主从复制方式进行复制，基于HLog在应用场景个人感觉比较重要的一点是可以隔离计算分析型的操作和实时性操作带来的影响。
mlljava1111·2014-10-15 22:00

HBase总结（十五）HBase数据恢复

每个HRegionServer中都会有一个HLog对象，HLog是一个实现WriteAheadLog的类，每次用户操作写入Memstore的同时，也会写一份数据到HLog文件，HLog文件定期会滚动出新
程序员成长史·2014-10-14 11:43

HBase总结（十五）HBase数据恢复

每个HRegionServer中都会有一个HLog对象，HLog是一个实现WriteAheadLog的类，每次用户操作写入Memstore的同时，也会写一份数据到HLog文件，HLog文件定期会滚动出新
lifuxiangcaohui·2014-10-14 11:00

hbase中查看hlog文件内容

hbase中除了有查看hfile文件的命令，也提供也查看hlog文件的命令：在hbase的根目录下有个.logs目录，里面就是hlog文件，一台RegionServer机器对应一个文件。
驰驰的老爸·2014-08-14 20:40

《HBase权威指南》学习总结

由上图看到HBase主要处理两种文件：一种是预写日志（Write-AheadLog，WAL）即图中的HLog。
lantian0802·2014-07-27 21:00

Hbase 写工作机制

客户端——MemStore——列族——Hfile1、Hbase在执行写操作的时候，首先会将写动作记录在hlog,memstore中，只有在这两个地方都确认完成后才被记录操作成功。
蓝狐乐队·2014-06-10 21:00

Hlog的相关处理流程不完全分析

  Hlog的相关处理流程：   在对hbase中数据进行更新操作put/delete/append/increment操作时，记录操作日志供日志重播的相关处理。
hongs_yang·2014-04-15 17:00

Hlog的相关处理流程不完全分析

Hlog的相关处理流程：在对hbase中数据进行更新操作put/delete/append/increment操作时，记录操作日志供日志重播的相关处理。
u014393917·2014-04-15 17:00

HBase-WAL相关线程处理逻辑

 日志同步线程HLog$LogSyncer hbase.regionserver.optionallogflushinterval默认1秒配置logsyncer线程扫描间隔更新、增加、删除操作会触发一次
我是小小鸟·2014-02-28 19:00

HBase-WAL相关线程处理逻辑

 日志同步线程HLog$LogSyncer hbase.regionserver.optionallogflushinterval默认1秒配置logsyncer线程扫描间隔更新、增加、删除操作会触发一次
我是小小鸟·2014-02-28 19:00

HBase-HLog分析

HLog的全部实现在包:org.apache.hadoop.hbase.regionserver.wal中 相关的配置为参数名默认值含义hbase.regionserver.hlog.enabledtrue
我是小小鸟·2014-02-08 17:00

HBase-HLog分析

HLog的全部实现在包:org.apache.hadoop.hbase.regionserver.wal中 相关的配置为参数名默认值含义hbase.regionserver.hlog.enabledtrue
我是小小鸟·2014-02-08 17:00

浅析HBase架构和系统结构介绍（二）

2HBase架构                                    HBase系统架构图(注意，每个HRegsionServer维护一个HLog文件) 2.1客户端（client）HBaseClient
GreatElite·2014-02-02 12:00

HDFS APPEND性能测试

hbase在写入数据之前会先写hlog，hlog目前是sequencefile格式，采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。
yueyedeai·2013-11-25 12:00

Lease问题

datanode重启后，regionserver重启不久，多台regionserver相继即挂掉，log显示：Html代码 org.apache.hadoop.hbase.regionserver.wal.HLog
yueyedeai·2013-11-25 12:00

HBase replication使用

它是通过WALEdit和hlog来实现的。当请求发送给mastercluster时，hlog日志放入hdfs的同时进入replica
yueyedeai·2013-11-24 22:00

Hadoop+HBase+ZooKeeper三者关系

1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了，但是其实HBase中HLog和StoreFile中的文件在进行flushtodisk操作时，这两个文件存储到了HDFS的DataNode
zmycoco2·2013-11-04 16:00

HBase数据备份恢复的几种机制总结

1、 replication，通过类似mysql主从复制方式进行复制，基于HLog在应用场景个人感觉比较重要的一点是可以隔离计算分析型的操作和实时性操作带来的影响。
yangbutao·2013-10-21 17:00

HBase的目录结构

根目录文件(Root-level files)第一部分文件是被Hlog处理的write-ahead日志文件，这些日志文件被保存在HBase根目录下的.logs文件夹。.
zuochanxiaoheshang·2013-10-10 21:00

HBase的目录结构

根目录文件(Root-level files)第一部分文件是被Hlog处理的write-ahead日志文件，这些日志文件被保存在HBase根目录下的.logs文件夹。.
sdzzboy·2013-10-10 21:00

HLog代码分析

在分享replication时，有同事提出replication延时怎么样，（基于0.94.3）本文主要代码分析一下Hlog生成及对relication的影响。
hljlzc2007·2013-09-16 18:00

HBase 维护--查看HLog和HFile

查看HLog看了一些文章,HBase高可靠性是实现了HLog(Write-aheadLog)机制,那么HLog到底存在哪里了呢首先去HDFS的/hbase目录查看一下.hadoopfs-ls-R/hbase
hljlzc2007·2013-09-06 12:00

Region Server宕机,对整个集群的影响有哪些

本文章主要描述RegionServer宕机后,集群的处理过程,以及测试结果.RegionServer宕机后,做了一下几步,1.ZK发现并确认RS宕机,在RS列表中删除宕机的节点,2.Split日志文件HLog
hljlzc2007·2013-09-05 16:00

RegionServer不停新建空的hlog

regionserver不停的新建空Hlog，导致Hlog数量到达100w之多，测试集群的hdfs承受不了压力，挂掉。对相关表做了disable和enable之后才恢复正常。
kirayuan·2013-08-08 16:00

HBase笔记一 数据结构

    HMaster  分配region到各个HRegionServer中 一个共享的Hlog HRegionServer HRegion Server将每个
blackproof·2013-06-23 10:00

HBase笔记一 数据结构

    HMaster  分配region到各个HRegionServer中 一个共享的Hlog HRegionServer HRegion Server将每个
blackproof·2013-06-23 10:00

B tree and LSM tree

本文主要介绍了B+tree和LSMtree，从seek和transfer的角度看Hbase为什么选择了LSMtree，而不是像大多数RDBMS那样使用B+tree，在Hbase里面LSMtree这种结构其实就是由HLog
changtao381·2013-06-18 10:00

HBase HFile和Hlog的cleaner执行流程和配置项

HFile和Hlog是HBase中两大文件存在格式，HFile用于存储数据，Hlog用于保证数据写入HFile中。 两者都有自己的cleaner逻辑。
brianf·2013-06-09 14:00

Hbase 权威指南

Root-levelfiles：WAL的文件：由HLog实例控制，创建在hbase根目录的.logs目录。这个目录为每个HRegionServer创建了一个子目录。在每个子目录下面有HLog的文件。
anhuidelinger·2013-06-07 20:00

Hadoop+HBase+ZooKeeper三者关系图

blog.csdn.net/zhaonanemail/article/details/6654558这里有几个主要关系：1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了，但是其实HBase中HLog
冷月宫主·2013-04-29 21:13

HBase写HLog超时导致RegionServer退出

当hadoop的hdfs-site.xml中配置的dfs.socket.timeout的值比hbase中配置的大时,hbase在写入hlog时会报如下错误:解决办法:保证hadoop的hdfs-site.xml
田毅·2013-04-18 18:00

HBase HLog结构和原理

一.HLog在HDFS上位置和RegionServer对应关系HLog持久化在HDFS之上,HLog存储位置查看:hadoopfs-ls/hbase/.logs通过HBase架构图,HLog与HRegionServer
greatwqs·2013-04-11 21:00

hbase由于一台regionserver和datanode挂死导致hlog split问题

java.io.IOException:failedlogsplittingforhadoop2,60020,1355710943425,willretry      atorg.apache.hadoop.hbase.master.handler.ServerShutdownHandler.process(ServerShutdownHandler.java:180)      atorg.ap
vieky·2013-02-25 17:00

HLog代码分析及与HBase replication延时

在分享replication时，有同事提出replication延时怎么样，（基于0.94.3） 本文主要代码分析一下Hlog生成及对relication的影响。
brianf·2013-02-19 19:00

HBase replication 代码分析

1.正常replication处理逻辑首先是HLog的rollwrite方法，调用prelogRoll,在ZK上加上新的Hlog再调用postlogRoll,调用Replication的postLo
brianf·2013-01-28 17:00

HBase源代码调试(6)-HRegion的启动

-----------------------------------------------第一步构造HLog对象,构造函数中首先在/tmp/hbase-user下创建hlog.META.1357446070560
cleverwyq·2013-01-06 14:00

hbase源码学习之put操作

整理了下大致流程图：Client--->Htable---->Hmastermanager/ZK(获取-root-,--meta--)------>HregionServer----->Hregion------>Hlog
luyee2010·2012-12-26 02:00

facebook hbase版本目前做的一些重要特性，提升性能

（1）每个regionserver多个HLog，提升写。
bupt04406·2012-11-22 19:00

HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用

 原地址：http://blog.csdn.net/kalaamong/article/details/7324894首先续上篇测试：经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog
cuilanbo·2012-05-04 11:00

【分享】Bigtable架构图

==>ZookeeperMaster ===>MasterGFS  ===>HDFSTabletServer===>HRegionServerSSTable===>HFileTabletLog===>HLog
touch_123·2012-04-21 21:00

[置顶] HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用

首先续上篇测试：经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。
kalaamong·2012-03-06 15:00

Hbase的log管理(二)

1.在Hbase的log管理(一)中，描述了Hbase对于Hlog的更新和清理过程。其中提到会把已经写入磁盘的log文件move到.oldlog文件中，那么.oldlog中的文件又如何处理呢？
punishzhou·2011-12-01 20:00

Hbase的log管理(一)

每一个Regionserver中都有一个HLog，一般情况下除非设置了SETWAL（false）否则对hbase的写操作在put到内存之前会append到log中以防止机器down 掉造成的数据丢失。
punishzhou·2011-11-30 19:00

HBase splitlog 过程

上一篇Blog提到了HBase在regionserver挂掉以后，master会处理，其中很重要的一步是就是splitlog，把.logs目录下的该rs的文件夹里的HLog文件，按照region进行分配
punishzhou·2011-11-30 19:00

Hbase HLog源代码阅读笔记

HLog 当客户端往RegionServer上提交了一个更新操作后，会调用HLog的append方法往WAL上写一个节点，入口方法就是append 1.append   public void
uestzengting·2011-11-03 18:00

Hbase WAL原理学习

在一个RegionServer上的所有的Region都共享一个HLog，一次数据的提交是先写WAL，再写memstore，示意图如下2.HLogClassWAL的实现类是HLog，当一个Regi
uestzengting·2011-10-31 20:00

关于Memstore的大小设置一点经验

Hbase的Memstore固化为Hfile的主要触发条件为三个： 1、Hlog的存储文件数目达到上限32（默认配置），一个Hlog的大小默认配置为HDFS的block的95%，这样的话，假定HDFS的块大小为
dajuezhao·2011-10-19 11:00

splitlog期间丢失数据的问题

阅读更多splitlog是保证在重启或rs挂掉后，恢复hlog的重要手段。
lc_koven·2011-10-18 22:00

splitlog期间丢失数据的问题

    splitlog是保证在重启或rs挂掉后，恢复hlog的重要手段。
lc_koven·2011-10-18 22:00

性能调优（2）

设置原则：这个值越小，当RS故障时Hmaster获知越快，Hlog分裂和region 部署越快，集群恢复时间越短。
sunny96·2011-09-18 14:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他