DataNode

HDFS的体系架构详解

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
weixin_34240520·2020-08-16 21:48

Hadoop运维记录系列(二十三)

一、丢包问题在跨机房的时候，datanode显示很多SlowBlockReceiver的日志WARN  org.apache.hadoop.hdfs.server.datanode.DataNode: 
weixin_34082789·2020-08-16 21:03

HDFS体系结构详解

HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。
weixin_33835103·2020-08-16 21:15

hadoop节点之间通信问题

问题，由于之前都是伪分布的情况，没有真正的涉及到集群的环境，最近按照一些资料自己搭建了一个集群环境，三台虚拟机，一个master，两个slave，利用jps查看节点信息，启动了所有的节点，包括数据节点datanode
weixin_30408739·2020-08-16 21:56

Hadoop常用端口号

转载地址：https://www.cnblogs.com/jancco/p/4447756.html一、常用端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode
sam-X·2020-08-16 21:41

Hadoop集群动态添加datanode节点步骤

总结一下在Hadoop集群动态添加datanode节点相关步骤。
sz-lcw·2020-08-16 20:00

Hadoop + MapReduce 端口自定义配置

grep8080core-site.xmlhadoop.tmp.dir/home/xchen_p/tmpfs.default.namehdfs://localhost:9000hdfs-site.xmldfs.replication1dfs.datanode.address0.0.0.0
舒琪·2020-08-16 20:45

Hadoop HDFS体系概述

一个HDFS集群由一个NameNode和若干个DataNode组成。其中NameNode作为主服务器，管理文件系统的命名空间和处理客户端的文件读写操作。集群中的DataNode管理存储的数据。
一只老风铃·2020-08-16 20:28

Hadoop学习笔记

记录来的货物在哪个仓库里，当然仓库没有备份secondnamenode:比如此处是个中转站，货物需要再次移动，需要再次记录，secondnamenode相当于记账员的助理，来协助namenode来记录数据datanode
qq_322235565·2020-08-16 20:55

Hadoop 1.X & Hadoop 2.X 默认端口对比

1，Hadoop2.X默认端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp
nisxiya·2020-08-16 19:14

hadoop启动错误总结

/logs':Permissiondenied把所有Datanode节点执行下面命令[hadoop@hadoop3local]$chown-Rhadoop:hadoophadoop-0.20.2/2.2012
第九滴眼泪·2020-08-16 18:18

Hadoop安装（含client安装）

ByTANGJia本Hadoop案例中涉及4台机器，其中1台namenode和2台datanode构成HDFS系统，另外还有1台client。
WhuCS_B701·2020-08-16 18:58

_服役新节点，退役旧节点，多目录配置。+_HDFS2.x的新特性

等环境都配好了之后修改ip通过root进行登录，在原本好的虚拟机上进行分发操作之后再发java发环境变量在新的虚拟机上进行：这是重新运行环境变量之后进入hadoop删除data和logs让他变成一个全新的机器就会发现datanode
悄悄成长·2020-08-16 18:00

hadoop2.x常用端口及定义方法

这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.add
奋起直追CDS·2020-08-16 18:58

HADOOP集群搭建

集群和YARN集群，两者逻辑上分离，但物理上常在一起（也就是说需要分别部署HDFS集群和YARN集群，但是这两个集群在一个机器上部署）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN
weixin_30241919·2020-08-16 18:54

hadoop集群默认配置和常用配置

8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNodeweb管理端口50070hdfs-site.xml0.0.0.0:50070dfs.datanode.addressdatanode
沃氪科技·2020-08-16 17:39

拓扑距离和机架感知+_Mvn回顾+_NN和2N之间的关系+DN原理和校验原理

这是上一节的流程图：1、网络拓扑距离最近，决定上一节中那三个datanode谁是第一个例如N!到N2的距离就通过数直线的方法获得就是2别的距离也是这样求出来。
悄悄成长·2020-08-16 17:00

简单的主备切换方案

在这里提供一种更简单但不完美的主备切换方法：1)假设A和B是集群中的主控（Master）节点2)1~7是工作节点（如HDFS中的DataNode）3)在每个工作节点上，都同时配置了A和B的IP，而且是对等的
weixin_34391854·2020-08-16 09:21

Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例-2

步骤8Hadoop伪分布式部署配置Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件
Johnny老师·2020-08-16 08:07

CDH安装失败了，如何重新安装

opt/cm-5.12.0/lib/cloudera-scm-agent/*2>清空主节点CM数据库进入主节点的Mysql数据库，然后dropdatabasecm;3>删除Agent节点namenode和datanode
背着蜗牛闯世界的Jillion·2020-08-16 08:18

hadoop 基于3台虚拟机下的集群配置

VMwareWorkstation9)Jdk-6u16-linux-i586-rpm.bin机器名Ip地址作用master192.168.253.133NameNode、JobTrackerslave1192.168.253.137DataNode
wslidandan·2020-08-16 03:53

hadoop2.0在线升级，不停止hadoop集群

例如，datanodes节点可以单独升级不影响namenodes。反之亦然。升级在hadoop2.0版本，hdfs支持nameservices的ha功能，并且是强一致性的。
技多不压身·2020-08-16 01:48

伪分布式hadoop环境搭建

article/details/78193113按照这个一步一步，就顺利地完成了；以下是几个要注意的：修改hostname，这里我没有修改，但是似乎没有什么影响（后面的jps命令没有显示namenode和datanode
糊涂小姐·2020-08-16 00:17

List顺序表,链表.队列,栈,字典.

只不过数组是被限制的顺序表是内存地址连续的,顺序表方便查询追加遍历不适合做删除和插入因为会频繁的进行赋值操作顺序表有长度限制链表头插法,逆序,尾插法,正序链表是由一个个Node组成的,Node里面有两个元素dataNode
璐希法·2020-08-15 23:14

HDFS数据流程（读写）

4、然后namenode返回相应的datanode表示采用这几个节点存储数据。三个datanode中第一个是离
悄悄成长·2020-08-15 21:00

找出正在运行的python进程名称与位置

找出运行进程的数量[root@datanode2~]#ps-A|greppython3|wc-l14个[root@datanode2~]#ps-axjf|greppython343054448894488843054pts
DreamNotOver·2020-08-15 21:52

分享一个Flink checkpoint失败的问题和解决办法

我们的flink测试环境有3个节点，部署架构是每个flink节点上部署一个HDFS的DataNode节点，hdfs用于flink的che
PerfMa·2020-08-15 03:49

sharding-jdbc 4.0 actualDataNodes 动态分表刷新定时任务

1、sharding-jdbc动态刷新定时任务，基于4.0.0-RC2版本，不废话直接上代码！packagecom.xxxxx.xxxx.sharding;importcom.google.common.collect.Maps;importcom.google.common.collect.Sets;importcom.metlife.sms.common.dictionary.DictTool
满满的伤疤·2020-08-15 02:21

3.hadoop源码分析：datanode的注册分析

在前面的datanode启动分析中，datanode最后启动了多个bpserviceActor线程，每个线程与对应的一个nn去通信。
colossus_bigdata·2020-08-15 02:52

如何使用Sharding JDBC 动态分表 比如每天新建一张表

我所使用的版本为ShardingJDBC3.0.0.M3.在设置配置时不设置实际表节点，也就是去掉setActualDataNodes(“ds0..1.torderitem{0..1}.t_order_item0
_曙光·2020-08-15 01:32

HDFS负载均衡

HDFS负载平衡HDFS的数据可能并不总是被均匀的置于所有的DataNode中,最常见的原因是向一个已经存在的集群添加一个新的节点。当放置新的块时(块：一个文件的数据会被存储为一系列的块)。
AI_skynet·2020-08-14 22:26

Hadoop 添加节点和删除节点

namnode的配置文件复制到配置文件目录下2.修改namenode的slaves文件增加该节点3.在该节点对ssh,hosts，jdk进行配置，并修改所有节点的/etc/hosts增加该节点映射4.在该节点启动Datanode
AI_skynet·2020-08-14 22:55

如何保证HDFS数据的完整性

1）当DataNode读取block的时候，它会计算checksum2）如果计算后的checksum，与block创建时（第一次上传是会计算checksum值）值不一样，说明block已经损坏。
华山论键·2020-08-14 21:05

HDFS冗余数据块的自动删除设置

在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏
Enzo_bigdata·2020-08-14 21:08

HDFS常见的问题和处理方法积累

的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Toomanyfetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode
欲问君有几多愁·2020-08-14 20:26

Hadoop：使用QJM搭建HDFS高可用性(HA)集群及使用zookeeper自动故障转移

目录高可靠性与高可用性日志管理器QJM搭建HA集群ZooKeeper简介自动故障转移高可靠性与高可用性高可靠性也可以称为高容错性，体现在一份数据以多份副本的形式存储在datanode中，并且通过自身持续的状态监控快速检测到冗余错误
BOUNC3·2020-08-14 19:53

Edits和Fsimage文件

此目录是namenode服务器存储元数据的目录2.当格式化后，启动HFDS前，会生成一个最初的fsimage_0000000000000000000文件3.在dfs/data目录，这是datanode节点存储数据块的目录
任错错·2020-08-14 18:28

distcp解决HDFS部分Datanode空间占用率高的问题

官方文档：http://hadoop.apache.org/docs/r1.2.1/distcp.html1.确定要distcp的目录Hadoop集群一般是逐步扩容的，对于老的静态数据就会集中存储在老的Datanode
mnasd·2020-08-14 18:06

查看hdfs的fsimage和editlog

（一）名称解释fsimage，namenode的元数据镜像文件，保存在磁盘editlog，namenode操作日志fstime，最近一次的checkpoint时间metadata，一个文件存储在哪些DataNode
zxhyxwwu·2020-08-14 18:11

阿里DataX编译与案例

下载源码svncheckouthttp://code.taobao.org/svn/datax/trunk-环境root@datanode158:~#java-versionjavaversion"1.7.0
iteye_1344·2020-08-14 17:05

HDFS的读写删操作流程

3、客户端收到队列，依次遍历队列，读取文件块的信息4、客户端从队列中获取到第一个文件块的存储位置，从中选出一个最近的DataNode
hongye301·2020-08-14 17:07

NameNode与DataNode删除块逻辑分析

1.背景出现多次Unabletoclosefile情况，具体如下。Client：Causedby:java.io.IOException:Unabletoclosefilebecausethelastblockdoesnothaveenoughnumberofreplicas.atorg.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutp
王小禾·2020-08-14 16:35

HDFS冗余数据块的自动删除

在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏
yinjs1989·2020-08-14 16:59

(Hadoop操作与应用)S3HDFS

HDFS的介绍HDFS演变源于谷歌GFS论文DataNode（服务器A）存储文件的分割信息，文件和目录信息。DataNode（服务器B。C。D）存储分布式文件，并且备份在不同的服务器上。
Cx️XM·2020-08-14 16:45

HDFS冗余数据块的自动删除

HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时
coder-徐绍校·2020-08-14 15:05

记一次hbase的TTL功能不生效问题

，被告知hbase有TTL不生效的问题（磁盘未释放），做个记录hbase版本1.2.7hdfs版本2.7.5问题描述：hbase中所有的表都配置了TTL，然而hdfs使用量依然不断增加，直至磁盘打满，datanode
༺❀ൢ 故渊 ❀ൢ༻·2020-08-14 15:52

HDFS元数据管理：fsimage&edits

核心的服务包含两个：NameNode：集群的leader节点，负责管理namespace，维护副本策略，记录block块的信息，处理客户端读写请求等工作DataNode：集群
Eights-Li·2020-08-14 15:16

HDFS命令

因此，一个HDFS文件被分成128MB的块，如果可能的话，每个块将驻留在不同的DataNode上。dfs和fs的区别：fs在本地和HDFS交互时使用。
子鱼_sunmac·2020-08-14 13:38

spark RDD中的partition和hdfs中的block的关系

从节点为DataNode，从节点负责存储数据。节点之间通信。。。好吧跑题了！hdfs文件是分布式存储，每个文件根据配置被切分成block(hadoop2.x默认128M)。
sunkl_·2020-08-14 11:05

Hadoop3 集群新增DataNode/NodeManager节点

1、集群规划本文一些基础设置参照之前的Hadoop集群搭建的那篇博客：CentOS7环境下Hadoop3NameNodeResourceManagerHA集群搭建现需要新增一台服务器，新集群规划如下：IPHostName用途安装软件192.168.100.131lzjnn1NameNode1hadoop192.168.100.132lzjnn2NameNode2hadoop192.168.100.
青羿之羽·2020-08-14 11:41
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他