NodeManage

Hadoop集群启动后，缺少namenode或datanode进程

但是SecondaryNameNode、ResourceManager、NodeManage等。分析：namenode进程没有启动。在运行Hadoop
y215204·2023-10-19 04:21

大数据之Hadoop_Yarn的基本介绍,及入门程序的书写

cpu.内存.磁盘(IO),网络的使用情况,实时监控集群中每台机器的运算资源,合理分配资源,及任务进度的监控,任务再分配Yarn与hdfs相似,也分主从结点:主节点:resourcemanage从节点:nodemanage
普罗米修斯之火·2023-03-23 19:58

Yarn 服务启动后，一段时间后停止，再起再停

项目场景：最近在一套hadoop新集群的时候，搭完集群后，发现nodemanager不够用，遂添加了一个nodemanager节点，可是添加完之后，启动nodemanage后，一段时间又掉了。
xiaokebiubiubiu·2022-12-06 23:31

hadoop yarn Job提交和Shuffle

hadoopjara.jarFullClassNameinputpathoutputpath然后进行MapReduce处理，整个运行过程分为3个阶段：1、Client端使用命令提交MapReducejob到Resourcemanager；2、Resourcemanager分配NodeManage
_游侠·2020-09-13 20:23

CDH版本的YARN默认调度Fair scheduler 和DRF简述

每个NodeManage
润土1030·2020-08-22 20:11

java.io.IOException: Connection reset by peer;关闭hadoop集群时发现 dataNode 和 NodeManager 没关掉

/etc/hadoop/slaves发现果然多了一个localhost才想起以前配置的时候没有删除把localhost删除后保存退出jps查看dataNode和NodeManage
红尘丶世界·2020-08-17 08:57

Spark on YARN两种运行模式

SparkonYarn的两种运行模式：cluster和client;一句话概述两种的区别就是Sparkdriver到底运行再什么地方，带着这个问题来学习两种的区别；Inclustermode：Driver运行在NodeManage
爆发的~小宇宙·2020-08-14 22:55

HDFS的四大机制

心跳机制1、Hadoop是Master/Slave结构，Master中有NameNode和ResourceManager，Slave中有Datanode和NodeManage。
LLeonTT·2020-08-03 13:20

浅谈hadoop个组件

就相当于运行多个守护进程或者本地程序在同一网络不同的服务器上，这些进程扮演着不同的角色，一些会在一个服务器上，一些会存在不同的服务器上，这些进程主要包括namenode,datanode,secondarynamenode,resourcemanage,nodemanage
sitan3216·2020-07-28 11:49

高可用性的ResourceManager

ResourceManager的作用：负责协调集群上计算资源的分配，与NodeManage
ZH519080·2020-07-15 19:58

Spark on Yarn集群高可用搭建

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-07-09 13:06

Hive扩展功能(七)--Hive On Spark

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-07-09 13:06

Hive扩展功能(八)--表的索引

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-07-09 13:06

hadoop jar x.jar 执行过程

NodeManage通过心跳机制领取相
weixin_30363817·2020-07-09 09:15

Hadoop2.6.5高可用集群搭建

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-07-09 07:52

hadoop模块之——YARN

yarn的相关服务：resourcemanager(master):老大，负责资源管理；负责client端的作业提交请求；负责接受nodemanage的汇报(心跳)；接受aapMaster的反馈；nodemanager
杨苗苗·2020-06-29 05:29

大数据学习——Kafka环境搭建

环境我使用了4台虚拟机来搭建相对应的节点，具体情况如下：masterslave1slave2slave3NameNode√SecondaryNameNode√DataNode√√√ResourceManage√NodeManage
王乙已·2020-06-27 13:49

大数据学习——Flume环境搭建

环境我使用了4台虚拟机来搭建相对应的节点，具体情况如下：masterslave1slave2slave3NameNode√SecondaryNameNode√DataNode√√√ResourceManage√NodeManage
王乙已·2020-06-27 13:48

Yarn-NodeManager堆内存不足导致Container被杀

cloudera01:8088，如下图，可以看到2个节点和集群失去了联系二、问题排查1、登录cm管理界面首先登录cm管理界面，去查看yarn的运行状况，看到2个NodeManager运行不良，点击不良链接2、点击NodeManage
LiryZlian·2020-06-24 11:39

org.apache.hadoop.ipc.RemoteException(java.io.IOException)异常

错误日志最后的错误大致是：org.apache.hadoop.ipc.RemoteException(java.io.IOException):File/后查看机器进程情况发现：集群中datanode没有启动，但是nodemanage
沧海笑007·2020-06-22 09:36

Yarn之 MRAppMaster 详解

在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括创建MapReduce作业，向ResourceManager申请资源，与NodeManage通信要求其启动Container
tracy_668·2020-03-28 20:50

Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-01-08 11:18

Spark on Yarn集群搭建

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2020-01-04 00:13

Hive扩展功能(一)--Parquet

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-18 01:44

Hive2.1.1集群搭建

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-15 17:12

Hive扩展功能(七)--Hive On Spark

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-02 07:12

Hive扩展功能(九)--Hive的行级更新操作(Update)

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-02 05:52

从Hive1.0升级到Hive2.0(删除hive1.x中的元数据, 并不是数据迁移)

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-02 01:52

Hive扩展功能(四)--HiveServer2服务

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-01 13:16

Hive扩展功能(五)--HiveServer2服务高可用

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-12-01 03:17

Hive扩展功能(六)--HPL/SQL(可使用存储过程)

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-11-30 00:25

Hive扩展功能(八)--表的索引

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2019-11-29 05:24

0652-5.16.1-目录挂载点nosuid参数导致NodeManage启动失败异常分析

Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f1问题复现测试环境：1.RedHat7.42.CM和CDH版本5.16.13.集群已启用Kerberos在5.16.1集群中，启动NodeManager时失败，报错如下出现该问题的原因是文件系统/var的挂载参数含有nos
Hadoop_SC·2019-09-14 00:03

Yarn工作机制

（6）其中一个NodeManage
趣学程序·2019-05-23 12:00

Hadoop入门——YARN

YARN通过两类长期运行的守护进程提供自己的核心服务：资源管理器（ResourceManager）和节点管理器（NodeManage
SK_Jaco·2019-05-10 22:37

大数据-hadoop集群搭建

作业效率和稳定性相关参数其他问题集群规划3台服务器服务器名称搭建服务node01DataNode、NodeManager、NameNode、SecondaryNameNode、ResourceManagernode02DataNode、NodeManage
GVTgh·2019-01-04 18:50

大数据-hadoop集群搭建

作业效率和稳定性相关参数其他问题集群规划3台服务器服务器名称搭建服务node01DataNode、NodeManager、NameNode、SecondaryNameNode、ResourceManagernode02DataNode、NodeManage
GVTgh·2019-01-04 18:50

YARN 安装

hdfs集群上nodemanager一般和datanode装一起Resourcemanager应该独立装Resourcemanage整个过程的调度者Job客户端需求，resourcemanager分配Nodemanage
飞翔的山药蛋子·2018-10-15 15:00

spark基础入门-集群模式

看了忘，忘了有看，然而又忘了，很烦......什么appmaster、resourceManage、nodeManage、yarn-cluster、yarn-client...
一个喜欢烧砖的人·2018-08-04 09:03

Hadoop环境搭建中的问题

在从节点中，包含DataNode、JPS、NodeManage进程。
詹姆斯迷妹·2018-07-31 19:39

CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1

www.ljt.cosa192.168.1.11www.ljt.cos02192.168.1.12www.ljt.cos03192.168.1.13备注NameNodeHadoopYY高可用DateNodeYYYResourceManagerYY高可用NodeManage
ljtyxl·2017-08-14 20:30

Hive扩展功能(九)--Hive的行级更新操作(Update)

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2017-02-21 12:03

Hive扩展功能(六)--HPL/SQL(可使用存储过程)

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2017-02-21 11:34

Hive扩展功能(二)--HWI接口

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2017-02-15 17:33

Hadoop2.6.5高可用集群搭建

centos192.168.179.201:m1192.168.179.202:m2192.168.179.203:m3m1:Zookeeper,Namenode,DataNode,ResourceManager,NodeManage
咸鱼翻身记·2016-12-26 20:48

hadoop端口号配置信息

5.NodeManage
qq_27231343·2016-05-21 14:00

Hadoop实现Clustering by fast search and find of density peaks (2)

使用版本：Hadoop版本：2.6.0，Myeclipse：10.0 本地集群情况：node101 (主节点，namenode，datanode，ResourceManager，NodeManage
fansy1990·2015-07-24 16:00

yarn local dirs的管理实现

org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService）相关类中，在nm启动时，会启动一个LocalDirsHandlerService服务，循环检测yarn.nodemanage
菜菜光·2014-12-01 23:49

Weblogic Cluster BEA-000116故障处理

239.192.0.0AdminServer:192.168.1.33:7001MServer1:192.168.1.33:7201MServer2:192.168.1.33:7202Machine1:(MServer1)NodeManage
czmmiao·2012-08-02 16:00

用Weblogic遇到的问题笔记

weblogic删除domain:只需要删除domain目录，另外还需要删除common/nodemanager/nodemanage
anranran·2011-07-26 22:22
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他