E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
qjm
利用
QJM
实现HDFS自动主从切换(HA Automatic Failover)源码详析
最近研究了下NameNodeHAAutomaticFailover方面的东西,当ActiveNN因为异常或其他原因不能正常提供服务时,处于Standby状态的NN就可以自动切换为Active状态,从而到达真正的高可用NNHAAutomaticFailover架构图为了实现自动切换,需要依赖ZooKeeper和ZKFC组件,ZooKeeper主要用来记录NN的相关状态信息,zkfc组件以单独的JVM
wangxucumt
·
2014-07-25 10:43
切换
hadoop
HDFS
hadoop
利用
QJM
实现HDFS的HA策略部署与验证工作记录分享
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能,HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题,HA策略通过热备的方式为主NameNode提供一个备用者,并且这个备用者的状态一直和主Namenode的元数据保持一致,一旦主NameNode挂了,备用NameNode可以立马转换变换为主Nam
zengzhaozheng
·
2014-07-22 09:15
HA
mapreduce
hadoop
Yarn
利用
QJM
实现HDFS的HA策略部署与验证工作记录分享
1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能,HA和Federation。HA解决了Hadoop1.X Namenode中一直存在的单点故障问题,HA策略通过热备的方式为主NameNode提供一个备用者,并且这个备用者的状态一直和主Namenode的元数据保持一致,一旦主NameNode挂了,备用NameNode可以立马转换变
zengzhaozheng
·
2014-07-22 09:15
mapreduce
hadoop
HA
qjm
lab-bill-hadoop-ha-davidey
Hadoop2.2.0版本HDFS的HA配置注:以下配置描述的是HDFS的
QJM
方式的HA配置。
DavideyLee
·
2014-07-20 10:38
lab
bill
ha
hadoop
lab-bill-hadoop-ha-davidey
Hadoop2.2.0版本HDFS的HA配置注:以下配置描述的是HDFS的
QJM
方式的HA配置。
DavideyLee
·
2014-07-20 10:38
hadoop
HA
lab
Bill
PowerDesigner 破解
/pan.baidu.com/s/1hqEDUCG 636KBPowerDesigner165_Evaluation.exe 有点大,809MBhttp://pan.baidu.com/s/1mg
qjm
pa
w616589292
·
2014-07-09 09:00
Hadoop CDH4.5 NameNode HA方案实战
本篇实战Hadoop2.0NameNode的HA方案,采用
QJM
的自动故障转移方案。
China_OS
·
2014-05-22 16:00
NameNode
HA
ActiveMQ 无法启动 提示端口被占用 解决方案
提示如下:2012-08-2911:14:49,229|ERROR|FailedtostartActiveM
QJM
SMessageBroker.Reason:java.io.IOException:TransportConnectorcouldnotberegisteredinJMX
lionzl
·
2014-05-14 00:00
HDFS之Qurom Journal Manager(
QJM
)实现机制分析
1.前言1.1背景 自从hadoop2版本开始,社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步,大家之所以选择NFS,一方面因为可以很方便地实现数据共享,另外一方面因为NFS已经发展20多年,已经相对稳定成熟。虽然如此,NFS也有缺点不能满足HDFS的在线存储业务:网络单点及其存储节点单点。业界提供了
lifuxiangcaohui
·
2014-05-08 21:00
基于Cloudera CDH5 Beta2的
QJM
HA配置
准备: 配置 最低版本jdk 1.7.0.45 以上, 软件下载:http://archive.cloudera.com/cdh5/cdh/5/ 系统目前支持64位 我用的是Centos 6.5 配置环境 /etc/profile root用户下 export JAVA_HOME=/usr/java/jdk1.7.0_45 export JRE_HOME=${JAVA_HOME}/jre expo
蓝狐乐队
·
2014-04-29 23:00
Hadoop2.x解决NN单点故障问题
hadoop解决单点故障问题主要是通过两种方式:1、NFS文件共享2、
QJM
方式CLOUDERA提出的在Hadoop2.x中有两个nn,一个是activenamenode状态是active,另一个是standynamenode
蓝狐乐队
·
2014-04-27 11:00
hadoop2.0 NFS方式的HA的配置
NFS的方式的HA的配置与启动,和
QJM
方式基本上是一样,唯一不同的地方就是activenamenode和standbynamenode共享edits文件的方式,
QJM
方式是采用journalnode来共享
maisr25
·
2014-04-26 22:20
大数据
HA
nfs
hadoop2.0
Incompatible namespaceID for journal Storage Directory ...
02,235FATALorg.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:recoverUnfinalizedSegmentsfailedforrequiredjournal(JournalAndStream(mgr=
QJM
to
Mrknowledge
·
2014-04-15 15:00
Hadoop 2.2.0 HDFS的HA配置
注:以下配置描述的是HDFS的
QJM
方式的HA配置。
Mrknowledge
·
2014-04-09 10:00
基于
QJM
/Qurom Journal Manager/Paxos的HDFS HA原理及代码分析
HDFSHA的解决方案可谓百花齐放,LinuxHA,VMwareFT,sharedNAS+NFS,BookKeeper,
QJM
/QuorumJournalManager,BackupNode等等。
Mrknowledge
·
2014-04-09 09:00
hadoop2.0 HA的主备自动切换
在《hadoop2.0
QJM
方式的HA的配置》一文中介绍了HA的配置,是通过手工进行主备切换的。本文在这基础上,继续介绍HA的主备自动切换(automaticfailover)的配置。
maisr25
·
2014-04-02 10:37
zookeeper
大数据
HA
Failover
hadoop2.2.0
automatic
qjm
hadoop2.0
QJM
方式的HA的配置
本文在《hadoop2.0的安装和基本配置》一文的基础上继续介绍hadoop2.0
QJM
(QuorumJournalManager)方式的HA的配置(hadoop2.0架构,具体版本是hadoop2.2.0
maisr25
·
2014-03-22 23:34
大数据
Failover
hadoop2.0
qjm
JournalNode
Ubuntu上使用Hadoop 2.x 十二 HDFS Cluster HA
QJM
和Federation联合使用
不过对于单个namenodeserver,还是需要HA
QJM
来提供单点故障的解决方案,使得其可以自动的故障切换。
sheismylife
·
2014-03-18 19:00
hadoop
ubuntu
使用
QJM
方式实现hadoop中的HA
好吧。。。我是文档控。。翻译了官网。。。。总觉得读官网才有原味。HDFS使用QuorumJournalManager实现高可用性(HA)HDFSHighAvailabilityUsingtheQuorumJournalManagerPurposeNote:UsingtheQuorumJournalManagerorConventionalSharedStorageBackgroundArchite
xiangaichou
·
2014-03-13 09:00
hadoop
HA
qjm
hadoop 2.3利用Quorum Journal Manager搭建HA环境
具体内容可以参考 http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWith
QJM
.html
kabike
·
2014-02-25 21:00
hadoop
Apache Hadoop 2.0.3
引入一种新的HDFSHA解决方案
QJM
之前NameNodeHA已经有两种解决方案,分别是基于共享存储区的BackupNode方案和基于Bookeeper的方案,在该版本中引入另外一种方案:
QJM
(QuorumJournalManager
beijing20120926
·
2014-02-18 15:00
apache
hadoop
Yahoo
Hadoop 2.2.0版本HDFS的HA配置
注:以下配置描述的是HDFS的
QJM
方式的HA配置。
海力布
·
2014-01-14 10:36
hdfs
集群
mapreduce
hadoop
Hadoop 2.2.0版本HDFS的HA配置
注:以下配置描述的是HDFS的
QJM
方式的HA配置。
dmcpxy
·
2014-01-14 10:00
mapreduce
hadoop
集群
hdfs
activeMQ JMS JConsole监控
一、jconsole监控1、进入JDK安装目录/jdk/bin/ ,jconsole.exe双击运行,如下图:记得activemq已正常启动2、连接activem
qjm
s,选择远程进程,输入地址:端口、
showlike
·
2014-01-07 18:00
JConsole
activemq
jms
Hadoop2.2.0基于
QJM
的HA实践
Hadoop2.2.0的NN的HA目前有两种方式,贫民的方式自然是
QJM
了,它会采用类似Zookeepr的方式来保存NN的LOG,而NFS的模式显然不是我等几台机器组成的集群的选项
zhangzhaokun
·
2014-01-05 22:00
服务器相关技术调研
LVSWebServiceactiveM
QJM
SVarnish
softmanfly
·
2013-12-31 14:00
jar肯定已经在classpath里面,但是还报ClassNotFoundException
如下: com.ibm.m
qjm
s m
qjm
s compile
xtj332
·
2013-12-18 14:00
object各标签的参数和值
url=npgTuui
qjM
llzYEO6VO1hiQyBhruhFP4oNWp3WAKOY_g4w8nptQZui8ADxIzrQLqTcvtix4no1j0mK2E83d2Y8LfYvniAfF-nhV0wSJIgzq
zhangyaochun
·
2013-11-09 15:00
object
Flash
hadoop2.0 相关问题(持续更新)
搭建了一个hadoop2.0的测试集群,使用的是
QJM
HA方案,搭建配置过程就不在这里说了,晚上有很多资料。
baiyangfu
·
2013-10-09 20:57
hadoop
hadoop2.0 相关问题(持续更新)
搭建了一个hadoop2.0的测试集群,使用的是
QJM
HA方案,搭建配置过程就不在这里说了,晚上有很多资料。
baiyangfu
·
2013-10-09 20:00
CDH4 HA方案
CDH4HA方案¶HDFSHA方案¶HDFS
QJM
方案¶
QJM
手动切换方案¶手动切换方案,即在管理员发现ActiveNN不工作以后,或者由于升级等原因,手动将StandbyNN切换为StandbyNN。
qiaochao911
·
2013-06-21 10:00
hadoop
基于
QJM
/Qurom Journal Manager/Paxos的HDFS HA原理及代码分析
p=205HDFSHA的解决方案可谓百花齐放,LinuxHA,VMwareFT,sharedNAS+NFS,BookKeeper,
QJM
/QuorumJournalManager,BackupNode等等
你的阿飞哥哥
·
2013-05-13 16:18
hadoop
基于
QJM
/Qurom Journal Manager/Paxos的HDFS HA原理及代码分析
p=205HDFSHA的解决方案可谓百花齐放,LinuxHA,VMwareFT,sharedNAS+NFS,BookKeeper,
QJM
/QuorumJournalManager,BackupNode等等
dangyifei
·
2013-05-13 16:00
hadoop
HA
qjm
hadoop namenode 高可用(HA)搭建指南
QJM
方式
一、HDFS的高可用性1.概述本指南提供了一个HDFS的高可用性(HA)功能的概述,以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情,请参阅Apache的HDFS的架构指南。http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/HDFSHighAva
你的阿飞哥哥
·
2013-05-13 15:11
hadoop
hadoop namenode 高可用(HA)搭建指南
QJM
方式
一、HDFS的高可用性1.概述 本指南提供了一个HDFS的高可用性(HA)功能的概述,以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情,请参阅Apache的HDFS的架构指南。http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/HDF
dangyifei
·
2013-05-13 15:00
hadoop
高可用
hdfs
NameNode
HA
ActiveMQ 无法启动 提示端口被占用
2012-09-2613:26:43,360|ERROR|FailedtostartActiveM
QJM
SMessageBroker(localhost,null).Reason:java.io.IOException
czp11210
·
2013-05-07 09:00
activemq
端口被占
HDFS v2 HA方案对比
HA的具体实现和使用方式本文就不赘述了,可以参考以下链接: HA with NFS HA with
QJM
CDH(Cloudera的Hadoop发行版)在早期的版本中只支持HA with
joshuasabrina
·
2013-05-02 11:00
Apache Hadoop 2.0.3发布了
mapreduce-nextgen/apache-hadoop-2-0-3-published/ApacheHadoop2.0.3发布了,在这次版本更新中,主要增加了以下几个特性:(1)引入一种新的HDFSHA解决方案
QJM
Dong
·
2013-02-17 10:00
Hadoop
MRv2
yarn
Apache Hadoop 2.0.3发布了
mapreduce-nextgen/apache-hadoop-2-0-3-published/ApacheHadoop2.0.3发布了,在这次版本更新中,主要增加了以下几个特性:(1)引入一种新的HDFSHA解决方案
QJM
Dong
·
2013-02-17 02:00
hadoop
yarn
MRv2
ActiveMQ 无法启动 提示端口被占用
2012-09-2613:26:43,360|ERROR|FailedtostartActiveM
QJM
SMessageBroker(localhost,null).Reason:java.io.IOException
T123012009065
·
2012-12-13 15:00
Android开发:命令行下输入adb报错
转自:http://blog.sina.com.cn/s/blog_55d62d6a0100
qjm
1.html之前在命令行状态下直接输入adb命令后会报错,检查了环境变量的配置后也没发现问题。
shanliangliuxing
·
2012-10-21 22:00
linux
android
shell
tools
终端
jfreechart在Unix下无法显示
详细解释以及解决方式如下:http://
qjm
ouse.javaeye.c
loveany121
·
2012-09-04 00:00
java
unix
jfreechart
服务器
平台
终端
ActiveMQ 无法启动 提示端口被占用 解决方案
消息总线AcitveMQ无法启动,总是提示端口被占用提示如下:2012-08-2911:14:49,229|ERROR|FailedtostartActiveM
QJM
SMessageBroker.Reason
bobzhangyong
·
2012-08-29 11:20
address
already
activMQ
IT杂谈
ActiveMQ 无法启动 提示端口被占用 解决方案
消息总线AcitveMQ无法启动,总是提示端口被占用提示如下:2012-08-2911:14:49,229|ERROR|FailedtostartActiveM
QJM
SMessageBroker.Reason
bobzhangyong
·
2012-08-29 11:20
Address
already
activMQ
ultraedit 16.00 注册 验证 激活码
LEHEU-KJOQF-QWVWE-MROJX-WOPJN-HILLO-QMBEU-XRARN用户名:fuckyou注册码:QMPFM-INRPV-LLOK8-KGRLM-NJKFA-ELWOV-JKDPQ-P
QJM
P
aerchi
·
2012-06-15 09:00
rac自动生成各节点的AWR
######################name:auto_awr.sh##synopsis:createawrfortwonodesforracattheexecutetime##author:
qjm
vfast_chenxy
·
2012-06-04 17:26
oracle
RAC
raw
主流消息中间件 SOA\ESB
MicroSoftSoftWareAG Tibco 这几家的ESB占市场份额较高(1)IBMWebSphereMQ(也称MQSeries)http://www.oschina.net/p/websphere+mq(2)ActiveM
QJM
S
ajian005
·
2012-05-24 17:00
apache
jboss
activemq
SOA
消息中间件
产品
ActiveMQ5.0实战一: 安装配置ActiveMQ5.0
ActiveMQ5.0实战一:安装配置ActiveMQ5.0博客分类:javaActiveM
QJM
SIBMSpring应用服务器/***作者:andyao,email:
[email protected]
virusfu
·
2012-03-01 11:00
activemq
ActiveMQ5.0实战一: 安装配置ActiveMQ5.0
ActiveMQ5.0实战一:安装配置ActiveMQ5.0博客分类:javaActiveM
QJM
SIBMSpring应用服务器/***作者:andyao,email:
[email protected]
virusfu
·
2012-03-01 11:00
activemq
ActiveMQ 7
ActiveMQinAction(7)转载:http://whitesock.iteye.com/blog/165458ActiveM
QJM
S2.6.7Wildcards Wildcards用来支持联合的名字分层体系
yuanyuan110_l
·
2012-02-15 14:00
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他