DataNode

hadoop启动后jps查不到namenode的解决办法

1.如果是先启动了namenode，没有启动datanode就报错了，你需要去查看一下hadoop的日志文件（hadoop安装目录/logs），找到namenode的log文件（我的是hadoop-test-namenode-ubutun
holiday_gao·2020-08-23 05:34

Hadoop学习-错误记录：namenode、datanode、secondarynamenode未启动

1、在ubuntu16.04系统中，采用伪分布配置，在账户A上启动hadoop2.7.3失败，namenode、datanode、secondarynamenode未启动，查看hadoop-hadoop-namenode-ubuntu.log
摘果子的人·2020-08-23 05:09

centos6.8搭建heartbeat集群

一、HeartbeatV2集群配置：基本前提：1、节点名称/etc/hosts并且与uname-n命令执行结果保持一致2、ssh免密通迅3、时间同步datanode1、node2##hostnamenode1
Xman_ed8b·2020-08-23 03:31

hadoop相关疑点问题

块大小的设置问题https://blog.csdn.net/jzero_2008/article/details/80574101HDFSdatanode心跳机制https://www.cnblogs.com
高级大数据工程师·2020-08-23 03:47

启动mongodb报错问题

[root@zk-datanode-02mongodb]#bin/mongod-fconfig/mongo.cnf&[1]30549[root@zk-datanode-02mongodb]#2017-06
weixin_30609287·2020-08-23 03:30

CDH问题处理

处理过程：1）试图重启agent，但是所有的DataNode都提示agent正在运行2）jps查看进程发现根本没有java进程在运行3）运行cloudera-scm-agentstatus显示进程已死，
天一涯·2020-08-23 00:31

HDFS架构和HA集群的简单理解

一.简述HDFS架构HDFS是Hadoop分布式文件系统,采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFSClient、NameNode、DataNode和SecondaryNameNode.HDFS
小初心·2020-08-22 23:24

hdfs haadmin使用，DataNode动态上下线，NameNode状态切换管理，数据块的balance,HA下hdfs-api变化（来自学习资料）...

1.2.4集群运维测试HA集群中两个namenode状态的管理命令[[email protected]]#bin/hdfshaadminUsage:DFSHAAdmin[-ns][-transitionToActive[--forceactive]][-transitionToStandby][-failover[--forcefence][--forceactive]][-getSer
weixin_33759269·2020-08-22 23:36

黑猴子的家：自动故障转移HDFS-HA

1、规划集群hadoop102hadoop103hadoop104NameNodeNameNode""JournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZK2
黑猴子的家·2020-08-22 22:09

cloudera manager-5.10.2的安装（二、环境的依赖下载及安装CM）

namenode、agent、resourcemanager、journalnode、zookeeper、master、flume、masteragent01.comsecondarynamenode、datanode
久醉绕心弦i·2020-08-22 21:22

HDFS读数据流程简述

1）客户端通过向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
久醉绕心弦i·2020-08-22 21:21

HDFS写数据流程简述

3）客户端请求第一个Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
久醉绕心弦i·2020-08-22 21:21

HDFS组成架构概述

1）NameNode：它是一个主管，管理者1.管理HDFS的名称空间2.配置副本策略3.管理数据块Block映射信息4.处理客户端读写请求2）DataNode：执行实际的操作，执行者1.存储实际的数据块
久醉绕心弦i·2020-08-22 21:21

HDFS-HA自动故障转移失效

blog.csdn.net/weixin_38023225/article/details/101346493集群规划master-nodeslave-node1slave-node2NameNodeJournalNodeDataNodeZKNodeManagerNameNodeJournalNodeDataNodeZKResou
月正明·2020-08-22 20:06

黑猴子的家：手动故障转移HDFS-HA

1、规划集群hadoop102hadoop103hadoop104NameNodeNameNode""JournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNode2
黑猴子的家·2020-08-22 20:00

HDFS数据块损坏是如何处理的？

数据块损坏恢复流程在namenode中对于进行数据块副本的管理都是在FSnameSystem中，其中有一个成员变量corruptReplicats,其中就存储着损坏数据与DataNode的映射，当某个数据块损坏后
zhou12314456·2020-08-22 20:33

HBase2.0 vs HBase1.x 延时比较

测试介绍1测试环境HBase2.0集群，2副本DataNode，单regionserver，便于线性扩展；集群的配置:8corex16G内存；4x250Gssd云盘；
大数据和云计算技术·2020-08-22 20:43

HRegionServer的详解

Point1：HRegionServer一般和DataNode在同一台机器上运行，实现数据的本地性。
Star-Technology·2020-08-22 20:22

MapReducer的基本使用及常见问题解决

2、管理员命令开启hdfs集群sudostart-dfs.sh输入密码，查看集群状态jps出现namenode和datanode，就表示可以正常使用集群了(一般都是采用主机1开启)3、打jar包IEDA
随遇而安886·2020-08-22 19:43

hbase2.0 vs hbase1.x 延时比较

测试介绍测试环境HBase2.0集群，2副本DataNode，单regionserver，便于线性扩展，集群的配置8corex16G内存；4x250Gssd云盘；情况
Msro·2020-08-22 19:06

HDFS-异常大全-《每日五分钟搞定大数据》

点击看《每日五分钟搞定大数据》完整思维导图以及所有文章目录问题1：Decomminssioning退役datanode（即删除节点）1.配置exclude：dfs.hosts.exclude/data/
weixin_33895475·2020-08-22 19:43

HBase对比HDFS

HDFS组件•NameNode•DataNodeNameNode：NameNode可以被视为系统的管理者。它维护系统文件树以及系统中存在的所有文件和目录的元数据。
hadoove·2020-08-22 18:53

hadoop、spark配置使用所遇到的问题

1配置Hadoop1.1节点、主机ip信息hostnameip地址备注ss-ubuntu192.168.1.101namenodeyhc-VirtualBox192.168.1.102datanodenode1192.168.1.103datanode
植物奶哇咔咔·2020-08-22 18:16

【Hadoop】RegionServer详解

在分布式集群中，HRegionServer一般跟DataNode在同一个节点上，目的是实现数据的本地性，提高读写效率。
_和·2020-08-22 18:45

cocosCreator 计时器 schedule

做一个自动恢复精力的功能，每秒恢复一点，直到精力达到最大值则停止恢复；代码：onLoad(){//获取常驻节点varnode=cc.director.getScene().getChildByName("dataNode
Chameleon_W·2020-08-22 17:31

HBase的hbase-site.xml的基本配置

hbasehbase.cluster.distributedtruehbase.zookeeper.property.dataDir/soft/hbase-1.4.9/zookeeperhbase.zookeeper.quorumdatanode1
赵厚雄·2020-08-22 17:34

MyCat笔记(三)：schema.xml 配置详解

schema.xmlMyCat对应的逻辑数据库和物理数据库表的配置关系schema逻辑数据库设置dataNode节点配置，也就是分库相关配置，即数据来源于哪几台主机dataHost节点主机配置，即：物理数据库
扛麻袋的少年·2020-08-22 17:58

namenode 如何判断datanode节点是否宕机的技术细节

1、namenode如何判断datanode节点是否宕机？
想当厨师的码农·2020-08-22 16:21

hadoop默认端口_Hadoop默认端口

hadoop默认端口Hadoop’snamenodeanddatanodesexposeabunchofTCPportsusedbyHadoop’sdaemonstocommunicatetoeachotherorlistendirectlytousers
cuma2369·2020-08-22 16:06

HBase(2.2)-HBase架构详解

它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode
yyl424525·2020-08-22 15:24

HDFS—>Namenode缓存篇

一、基本概念2.3添加了集中式缓存管理，由Datanode堆外内存组成，Namenode统一管理阻止频繁使用的数据从内存中删除由于是Namenode统一管理，因此在读可以根据情况调度，提高读性能客户端可以通过零拷贝技术直接读取缓存数据提高集群内存利用率
墨小雨的猫·2020-08-22 14:43

Mycat分⽚

配置schema.xmlschema.xml介绍schema.xml作为Mycat中重要的配置⽂件之⼀，管理着Mycat的逻辑库、表、分⽚规则、DataNode以及DataHost之间的映射关系。
晗宝·2020-08-22 14:56

Mycat介绍

www.mycat.io/dbproxyMycatMycat架构Mycat核⼼概念Schema：由它指定逻辑数据库（相当于MySQL的database数据库）Table：逻辑表（相当于MySQL的table表）DataNode
晗宝·2020-08-22 14:55

基于一致性哈希的分布式内存键值存储——CHKV

系统设计NameNode:维护DataNode节点列表，用心跳检测DataNode（一般被动，被动失效时主动询问三次），节点增减等系统信息变化时调整数据并通知Client；DataNode:存储具体的数
MageekChiu·2020-08-22 10:48

Sharding-Sphere(二)

一、术语LogicTabe逻辑表：同一类分表的总称，数据库并不存在这个表Actualtable真实表：真是在数据库存在的表DataNode数据节点表：在Sharding_Sphere中每个数据库就是一个节点
蜗牛！！！·2020-08-21 23:53

HDFS的数据流

3）客户端请求第一个Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别
可爱的杨一凡·2020-08-21 23:47

大数据基础学习笔记-2.hadoop单机安装

47.107.182.164,120.78.181.181两台服务器都是1核2G内存(推荐使用正式环境学习，安装CDH)2.服务器安装的服务HA（高可用，有主备策略等）（1）47.107.182.1641、HDFS服务（非HA）NameNodeDataNode2
小马的学习笔记·2020-08-21 17:22

Hadoop3.3.0入门到架构篇之一

组成HDFS(浏览器端口号50070(low)/9870(high))NameNode(nn):存储文件的元数据如文件名,文件目录结构,文件属性(生成时间副本数,文件权限),以及每个文件的块列表和所在的DataNode.DataNode
保龄球·2020-08-21 16:52

ShardingException: Cannot find data source in sharding rule, invalid actual data node is

org.apache.shardingsphere.core.exception.ShardingException:Cannotfinddatasourceinshardingrule,invalidactualdatanodeis
食之无味,弃之可惜·2020-08-21 15:05

安装hadoop3.0版本踩坑

1、hdfs的web页面默认端口是9870yarn的web页面端口是80882、配置文件中的slaves文件没了，变成了workers文件，在里面配置datanode节点3、在进行namenode格式化是有几个
前行中632·2020-08-21 15:03

hadoop基本原理架构讲解（HDFS部分）

目录1简介2HDFS2.1架构原理2.2HDFS的概念namenodeSecondayNameNode（辅助NameNode）datanode（工作节点）数据块2.3工作原理写操作：读操作：HDFS数据备份
mocas_wang·2020-08-21 15:57

Kettle5连接Hive

/hadoop-daemon.shstartdatanode./hadoop-daemon.shstartsecondarynamenode.
lql_h·2020-08-21 14:43

(Hadoop入门系列一)Hadoop集群搭建

master节点和一个slave节点组成：hostnameIP进程hadoop-master10.111.131.65NameNodeandJobTrackerhadoop-slave10.111.131.67DataNodeandTask
jy_arm·2020-08-21 14:25

hadoop hdfs 全分布式（Fully-Distributed Operation） 部署

使用hadoop版本：ApacheHadoop2.6.5使用4个虚拟机节点以及角色：hadoop01(192.168.92.66)namenodehadoop02(192.168.92.67)datanode
ccx_jy·2020-08-21 13:58

基于异构arm硬件的Hadoop集群测试

基于arm架构单片机的hadoop服务器尝试namenode是cubieboard一代，采用单核armv7架构，1G内存，4G板载flashROMdatanode采用cubietruck，双核armv7
weixin_34249678·2020-08-21 12:30

hadoop整体架构

作为hadoop来说它有三个重要的组件：存储组件HDFS(namenode,datanode)、资源调度组件yarn(ResourceManager、nodeManager)、计算引擎MapReduce
彬荣·2020-08-21 10:08

Ubuntu16.04安装hadoop2.7.2分布式集群

salveadminserver192.168.202.34NameNode、SecondaryNameNodeResourceManager、JobHistoryServermastermonserver192.168.202.33DataNode
晓之木初·2020-08-21 05:13

Hadoop系统通信协议介绍

本文约定：DN:DataNodeTT:TaskTrackerNN:NameNodeSNN:SecondryNameNodeJT:JobTracker本文介绍Hadoop各节点和Client之间通信协议。
kdnuggets·2020-08-21 04:48

[HDFS学习笔记]数据流操作

客户端需要知道自己应该把文件上传到哪个DataNode，因此依然由FSData
猛男落泪为offer·2020-08-20 23:10

Hadoop常用端口和定义方法

这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs
Bill-Zhang·2020-08-20 21:45
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他