resourcemanager

MySQL binlog 组提交与 XA(分布式事务、两阶段提交)

概念：   XA(分布式事务)规范主要定义了(全局)事务管理器(TM:TransactionManager)和(局部)资源管理器(RM:ResourceManager)之间的接口。
jyzhou·2016-03-09 13:00

MySQL binlog 组提交与 XA(分布式事务、两阶段提交)

概念：XA(分布式事务)规范主要定义了(全局)事务管理器(TM:TransactionManager)和(局部)资源管理器(RM:ResourceManager)之间的接口。
jyzhou·2016-03-09 13:00

YARN的HA搭建

YARN的HA搭建选择192.168.230.10(node1),192.168.230.14(node5)两台主机作为ResourceManager datanode与nodemanager一定要放在一个机器上
qq_25371579·2016-03-08 18:00

Sqoop1.99.4 Java API实践

软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1.Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode
fansy1990·2016-03-08 14:00

YARN的主要组件及功能简介

--总体概述--yarn总体上是Master/slaves结构,整个架构中,resourcemanager(RM)是主节点,nodemanager(NM)是从节点,RM对NM上的资源进行统一管理和调度;
kopshome·2016-03-07 15:13

【hadoop】14、hadoop2.5的mapreduce的 配置

配置mapreduce 加上这个mapreduce.framework.nameyarn然后在yarn-site.xml里面进行配置 yarn.resourcemanager.hostname
phlsheji·2016-03-06 18:00

hadoop2.x 动态添加节点

假设添加的节点主机名为slave031.在各个节点上修改hosts文件添加islave03(确定防火墙已经关闭)2.配置namenode节点和resourcemanager节点到slave03的免登录3
jiangpeng59·2016-03-03 20:00

YARN

一个容器运行一个特别的应用进程,分配一定的资源(内存，cpu)在YARN上执行一个应用，客户端访问resourcemanager来执行一个应用主
dalu610·2016-03-03 17:00

Hadoop2.6运行wordcount

/sbin/start-all.sh[[email protected]]$jps21444ResourceManager21301SecondaryNameNode22072Jps21117NameNode
1350368559·2016-02-28 16:59

Hadoop2.6运行wordcount

/sbin/start-all.sh[[email protected]]$jps21444ResourceManager21301SecondaryNameNode22072Jps21117NameNode
1350368559·2016-02-28 16:59

hadoop2 环境的搭建（自动HA）

hadoop114namenode：hadoop110和hadoop111datanode：hadoop112、hadoop113、hadoop114journalnode：hadoop110、hadoop111、hadoop112resourcemanager
菜七·2016-02-20 11:00

hadoop2 环境的搭建（手动HA）

namenode：hadoop110和hadoop111datanode：hadoop112、hadoop113、hadoop114journalnode：hadoop110、hadoop111、hadoop112resourcemanager
菜七·2016-02-19 21:00

Yarn的JVM重用功能—uber

一个应用程序所需的Container分为两大类，如下：（1）运行ApplicationMaster的Container：这是由ResourceManager（向内部的资源调度器）申请和启动的，用户提交应用程序时
八戒_o·2016-02-18 12:00

Hadoop集群安装配置实验

192.168.56.101master192.168.56.102slave1192.168.56.103slave2192.168.56.104slave3主机规划：192.168.56.101做master，运行NameNode和ResourceManager
wzy0623·2016-02-17 17:00

hadoop-2.6.2 namenode resourcemanager ha 环境搭建

    在这以前我想先分享一下hadoopnamenode基于QJM实现HA的原理。    首先作为一个典型的ha集群，要有两个namenode，一个是active状态，对外提供服务，一个是standby状态，随时待命，以便当active状态的namenode出现故障的时候能够提供快速的故障恢复能力。    为了保证active和standby节点的元数据一致性。每一个datanode要同时向两个
阿拉德大陆的魔法师·2016-02-16 16:00

Hadoop Yarn

会保存信息在内存中，使用的粗粒度的锁，所以可扩展有瓶颈  2、Yarn要保持现有的mapduce的向后兼容性 3、Yarn：资源调度器基本思想：将jobTracker两个主要的功能分离成单独的组件，一个全局的ResourceManager
kayak2015·2016-02-14 12:58

yarn和hdfs

Yarn包括resourcemanager和datamanagerHdfs包括namenode和datanode 这两个服务启动了，就可以跑mapreduce程序了
yuanchenkai·2016-02-11 12:46

3-4

MR流程代码编写；作业配置；提交作业；初始化作业；分配任务；执行任务；更新任务和状态；完成作业RM（resourcemanager）是yarn的老大NM（nodemanager）是yarn的小弟一个客户端提交一个
sherri_du·2016-02-07 20:00

mapreduce的resourcemanager，applicationMaster介绍

为资源管理及任务生命周期管理两个独立的组件MapReduce在Hadoop2中称为MR2或YARN，将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的服务:用于管理全部资源的ResourceManager
yuanchenkai·2016-02-04 17:08

Oracle数据库资源管理

1.了解ResourceManager术语2.了解ResourceManager分配方法3.了解DEFAULT_PLAN4.新建资源计划5.创建使用者组6.了解资源分配方法7.分配使用者组8.激活资源计划
AlfredZhao·2016-01-29 12:00

Hadoop 中 YARN和MV2以及ApplicationMaster

，对于Map-Reduce计算模型而言有它自己的ApplicationMaster实现，对于其他的想要运行在yarn上的计算模型而言，必须得实现针对该计算模型的ApplicationMaster用以向ResourceManager
andrewgb·2016-01-28 23:43

如何启动ResourceManager和NodeManager

登录到bigtop1上，vagrantsshbigtop1将/usr/lib/hadoop/libexec/init-hdfs.sh文件内容替换为: #!/bin/bash-ex # #LicensedtotheApacheSoftwareFoundation(ASF)underoneormore #contributorlicenseagreements.SeetheNOTICEfiled
justinzhang·2016-01-28 17:00

分布式事务

XA规范主要定义了(全局)事务管理器(TransactionManager)和(局部)资源管理器(ResourceManager)之间的接口。
sungyang·2016-01-27 14:00

Hadoop YARN学习之重要术语总结（6）

HadoopYARN学习之重要术语总结（6）-SLA服务等级-RM(ResourceManager)-AM(ApplicationMaster)-NM(NodeMaster)-MPI(MessagePassingInterface
dream_an·2016-01-21 17:00

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

HadoopYARN学习监控JVM和实时监控Ganglia、Ambari（5）1.0监控ResourceManager进程Java虚拟机中堆空间的特定部分。
dream_an·2016-01-21 17:00

Hadoop YARN学习之组件功能简述（3）

HadoopYARN学习之组件功能简述（3）1.YARN的三大组件功能简述：ResourceManager（RM）是集群的资源的仲裁者，它有两部分：一个可插拔的调度器和一个ApplicationManager
dream_an·2016-01-21 16:00

Hadoop YARN学习之核心概念（2）

HadoopYARN学习之核心概念（2）1.Hadoop2.XYARN引入的新服务1.1新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者；1.2用户应用程序（包括MapReduce
dream_an·2016-01-21 16:00

Hbase的Hmaster配置

Hbase的Hmaster配置HA相比Hadoop的NameNode和ResourceManager的HA来说，比较简单，几乎不用配置什么：Xml代码             hbase.rootdir
weitao1026·2016-01-21 10:00

关于分布式事务、两阶段提交、一阶段提交、Best Efforts 1PC模式和事务补偿机制的研究

XA规范主要定义了(全局)事务管理器(TransactionManager)和(局部)资源管理器(ResourceManager)之间的接口。
xuyunti·2016-01-16 12:00

Containers Reserved yarn resourcemanager

yarnrm的管理页面中显示了集群的概况，其中有一个指标叫ContainersReserved.预留的容器，为什么会预留，集群的资源使用饱合，新的app请求的资源一般会进入pending状态，为什么需要预留，查阅资料说是，如果app申请的资源不太容易分配，比如新的app是一个计算密集型的，一个task需要6个vcores，其他任务需要一个，则刚释放的资源如果不预留，就会被其他任务使用，而这样有失公
tneduts·2016-01-15 17:00

hadoop 2.x集群安装与配置

/start-yarn.sh启动yarn，会启动ResourceManager和nodemanager./yarn-daemon.sh startresourc
username2·2016-01-14 10:00

Spark on Yarn 架构解析

主要包含三个组件ResourceManager、NodeManager和ApplicationMaster以及一个核心概念Container.1.ResourceManager(RM) 就是所谓
超大的雪童子·2016-01-10 11:00

启动Hadoop和运行一个Mapreduce的hello world

格式化之后的hadoop，看到jps里面有namenode，datanode【分别是HDFS的老大和小弟】，ResourceManager，Nodemanager【YARN的老大和小弟】，Secondarynode
tianbwin2995·2016-01-05 20:00

Hadoop系列之（二）：Hadoop集群部署

Hadoop的节点构成如下：HDFSdaemon： NameNode,SecondaryNameNode,DataNodeYARNdamones：ResourceManager,NodeManager,
ee900222·2016-01-04 13:00

Azure 新的管理模式 —— Resource Manager

Azure新的管理模式——ResourceManager¶警告您当前查看的页面是未经授权的转载！
勤奋的小孩·2016-01-01 22:00

Hadoop YARN配置参数剖析

本文部分转自HadoopYARN配置参数剖析(1)—RM与NM相关参数本文部分转自HadoopYARN中内存的设置一ResourceManager相关配置参数1通信配置参数2调度器配置参数3内存和CPU
u011414200·2016-01-01 11:00

YARN (MRv2) ResourceManager High Availability

本文源自官网Cloudera5.3.x文档http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_hag_rm_ha_config.htmlYARNResourceManager(RM)负责跟踪群集中的资源并安排应用程序（例如，MapReduce作业）。在CDH5之前，RM是YARN群集
u011414200·2016-01-01 11:00

ResourceManager High Availability

Apache官方原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html一简介二架构1RM切换11手工故障切换22自动故障切换23在RM故障切换中的客户端ApplicationMaster和NodeManager2恢复之前Active-RM的状态三部署1配置11配置样例
u011414200·2016-01-01 11:00

Hadoop 2.0 中 NameNode/ResourceManager HA 总结

本文部分转自董的博客《Hadoop2.0中单点故障解决方案总结》一为什么需要HA和Federation1单点故障2集群容量和集群性能二Hadoop20三个系统简介1HDFS基础架构2YARN基础架构3MapReduce三HadoopHA架构1HDFS的HA架构2YARN的HA架构3HadoopHA解决方案架构4构成HadoopHA的组件5HadoopHA需要考虑的问题6HadoopHA小结一.为什
u011414200·2016-01-01 11:00

HDFS 和 YARN 的 HA 故障切换

集群转换成HA集群二HDFS的HA自动切换命令1获得当前NameNode的active和standby状态2NameNode的active和standby状态切换3HDFSHA自动切换比手工切换多出来的步骤三ResourceManager
u011414200·2016-01-01 11:00

Hadoop Yarn 框架原理及运作机制

1YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
mlljava1111·2015-12-30 01:00

hadoop2/MRv2 YARN整体了解 ResourceManager

1.ResourceManager是什么？能干什么？分配的资源到底是什么？
mlljava1111·2015-12-30 00:00

十六:mapreduce程序在yarn集群中的调度过程

mapreduce程序在yarn集群中的调度过程:1.客户端想ResouceManager提交一个job作业,申请运行一个MR的程序,RPC调用2.ResourceManager返回一个由创建的jobid
51zhangyanfeng·2015-12-22 01:43

MapReduce的那些事

然后再计算时由YarnChild进程计算，执行完则向MRAppMaster汇报，其中RunJar代表客户端进程，ResourceManager代表服务端进程，而Re
2207872494·2015-12-18 23:00

Yarn的初步学习

jobTracker中的内存中，当任务量激增时存在瓶颈--(还有一个粗粒度的锁，还没具体学习，这里不做陈述)  2、v1版本中的JobTracker的任务在v2版本中分到Yarn上，分为两个组件：--ResourceManager
超神的程序员·2015-12-18 00:00

YARN源码分析(二)-----ResourceManager中的NM节点管理

前言继上一篇文章讲述完ApplicationMaster的相关用法,核心主题都是围绕着2个字"应用",当然在RM中还有另外一项比较重要的服务也很重要,他就是节点管理服务,在RM中是如何维系管理多个节点,对于应用管理的话,在RM中已经有了ApplicationMasterService这个服务对象了,那么对应于节点NodeManager来说,难道叫做NodeManagerService吗,听起来非常
qq_26562641·2015-12-17 17:00

YARN源码分析(一)-----ApplicationMaster

前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager
qq_26562641·2015-12-17 17:00

MAC下hadoop开发环境搭建系列（二）

 Hadoop的安装，hadoop有三种安装方式：1）Standalone单机模式，仅用于调试2）Pseudo-Distributed伪分布模式，单节点上同时启动NameNode、DataNode、ResourceManager
qingshou117·2015-12-17 11:00

MAC下hadoop开发环境搭建系列（二）

阅读更多Hadoop的安装，hadoop有三种安装方式：1）Standalone单机模式，仅用于调试2）Pseudo-Distributed伪分布模式，单节点上同时启动NameNode、DataNode、ResourceManager
qingshou117·2015-12-17 11:00

MAC下hadoop开发环境搭建系列（二）

阅读更多Hadoop的安装，hadoop有三种安装方式：1）Standalone单机模式，仅用于调试2）Pseudo-Distributed伪分布模式，单节点上同时启动NameNode、DataNode、ResourceManager
qingshou117·2015-12-17 11:00
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他