datanode

hdfs 读写过程

hdfs文件写入过程Client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传Client请求第一个block该传输到哪些DataNode
吾为天帝乎·2023-10-30 16:36

spark集群配置

目录1.集群部署规划2.安装Spark3.文件配置4.分发文件5.启动集群6.查看集群1.集群部署规划表1-1集群部署规划主机名masterslave1slave2HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeYARNResourceManagerNodeManageNodeManageNodeManagerSparkMasterWork
EsmeZhao·2023-10-30 08:39

HDFS（一）HDFS基本介绍

HDFS基本介绍HDFS的Master-Slave结构HDFS角色作用简介HDFS分块存储抽象成数据块的好处HDFS副本机制名字空间（NameSpace）NameNode功能DataNode功能机架感知原理
红叶゜·2023-10-30 07:27

大数据笔记-关于Cassandra的删除问题

Facebook开源的一个NoSQL数据库，它除了具备一般的NoSQL分布式数据库特点以外，最大的一个特点是去中心化架构设计，这和HadoopHDFS/HBase等不一样，比如HDFS分为NameNode和DataNode
鬓戈·2023-10-30 06:48

hive问题总结

1.couldonlybewrittento0ofthe1minReplicationnodes.Thereare14datanode(s)runningandnonode(s)areexcludedinthisoperation
勇者1108·2023-10-30 04:45

Ambari删除节点

1.在需要删除的节点上设置DataNode为Decommissioned查看HDFSWEB页面，等待完成之前的数据之后的数据2.停止节点上所有组件3.删除节点在删除节点的命令行执行ambari-agentstop4
字节侠·2023-10-29 22:10

hdfs读写过程是怎样的？

Hdfs来说，这个对象是DistributedFileSystem的一个实例，2.通过使用远程过程调用（RPC）来调用namenode,以确定文件起始块的位置，对于每个块，namenode返回存有该块副本的datanode
乌拉乌拉儿·2023-10-29 14:34

大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经

1Hadoop1.1Hadoop1.x与Hadoop2.x的区别1.2HDFS架构（1）NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）、以及每个文件的块列表和块所在的DataNode
For Coding·2023-10-28 21:50

hadoop常见的面试题

一、hdfs上传和下载文件流程hdfs上传客户端向namenode发出请求建立通信获得存储文件块的datanode节点,然后客户端将文件按照块的大小进行分块(hadoop2.7.3开始由64MB变成128MB
有一束阳光叫温暖·2023-10-28 19:10

hadoop 3.x 案例3:datanode 异常

一.问题描述hdfsweb页面显示有的文件是损坏的，需要使用fsck来检查image.png二.解决方案通过fsck检查根目录，看是否有损坏的文件hdfsfsck/image.png将检查到的损坏的文件进行删除hdfsfsck/spark-jars-movehdfsfsck/spark-jars-deletehdfsfsck/spark-jars-files测试记录:[root@hadoop1sh
只是甲·2023-10-28 01:17

hadoop之旅2-centerOS7： 搭建分布式hadoop环境

hadoop的分布式架构（一主二从）主机名ip地址namenodedatanodemaster192.168.6.133是否slave1192.168.6.131否是slave2192.168.6.132
尔以凡·2023-10-27 07:44

Hadoop 请求数据长度 Requested Data length 超过配置的最大值

DataNode内存足够CPU负载不高GC时间也不长。查看DataNode日志，发现有些日志出现很多NettyRPC超时。
_lizhiqiang·2023-10-27 06:49

Java算法（6）：反转单链表

1.遍历实现通用实现方法，速度最快/***遍历实现通用实现方法**@paramhead*@return*/publicstaticDataNodereverse2(DataNodehead){if(null
starryxp·2023-10-27 04:48

Hadoop HDFS 数据流

客户端请求第一个block上传到哪几个datanode服务器上。NameNode返回3个datanode节点，分别为dn1、dn2、dn3。客户端通过FSDataOutputSt
yljphp·2023-10-26 09:51

HDFS集群NameNode高可用改造

文章目录背景高可用改造方案实施环境准备配置文件修改应用配置集群状态验证高可用验证背景假定目前有3台zookeeper服务器，分别为zk-01/02/03，DataNode服务器若干；目前HDFS集群的Namenode
qq184861643·2023-10-26 07:25

大数据 - （六-2）- HBase

2）⽀持好多列HBase的特点海量存储：底层基于HDFS存储海量数据列式存储：HBase表的数据是基于列族进⾏存储的，⼀个列族包含若⼲列极易扩展：底层依赖HDFS，当磁盘空间不⾜的时候，只需要动态增加DataNode
啦啦啦喽啰·2023-10-25 04:38

Hadoop学习笔记（2）Hadoop节点部署

hadoop架构中，有两种节点角色：Master主节点NameNode（NN）SecondaryNameNode（SNN）ResourceManager（RM）Slave从节点NodeManager（NM）DataNode
柏冉看世界·2023-10-24 16:37

hadoop启动报错：Attempting to operate on hdfs namenode as root

解决方案1：在环境变量中添加如下几个配置：vim/etc/profile添加exportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER
hzp666·2023-10-24 11:36

使用阿里云服务器搭建Hadoop分布式集群注意事项

/etc/hosts中原来的内容全部删除，然后加入namenode和datanode的ＩＰ以及名字；特别注意，master中的hosts中的mast
Clearlove灬Star·2023-10-24 04:16

在mac上进行hadoop集群搭建

macOs11.2.1虚拟机&VMwareFusion12.1服务器&CentOS7.8jdk1.8hadoop2.9.2集群规划框架linux01linux02linux03HDFSNameNode、DataNodeDataNodeSecondaryNameNode
大鱼1995·2023-10-24 01:40

hadoop及其组件安装

一、hadoop安装所需环境操作系统集群配置搭建3节点完全分布式集群，即1个nameNode，2个dataNode，分别如下:主机名IP描述master10.221.101.1NameNodeslave110.221.101.2DataNameslave210.221.101.3DataNode
ZX_JS·2023-10-23 20:22

【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群

HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager
db_lxm_2072·2023-10-23 14:22

Hadoop面试题（HDFS篇）

----------------------流程图---------------------------A(Client)--发送写请求-->B(NameNode)B--返回可用DataNodes列表-
Young_IT·2023-10-22 10:57

Hadoop3教程（二十八）：（生产调优篇）NN、DN的多目录配置及磁盘间数据均衡

文章目录（148）NN多目录配置（149）DataNode多目录配置及磁盘间数据平衡磁盘间数据均衡参考文献（148）NN多目录配置NN多目录的意思是，本地目录可以配置成多个，且每个目录存放内容相同，这样的目的是增加可靠性
经年藏殊·2023-10-22 10:56

hadoop之hdfs详解之一

HDFS是单台或集群伪分布式部署NameNode简称NNSecondaryNameNode简称SNNDataNode简称DNNN、DN、SNN部署在同一台机器上hdfs启动的命令脚本:sbin/start-dfs.sh
仙人掌仙人·2023-10-22 05:48

搭建HBase分布式集群

thesetupplanlookslike:hadoop3hadoop4hadoop5HadoophdfsNameNode:8020DateNode:50010JobHistoryServer:19888DataNode
sun_xo·2023-10-21 07:23

hadoop基础结构

1.hadoop几个点HADOOP免费CDH收费HDP收费后2者合并成为CDP2.结构图HDFS就是分布式存储，包含NameNode（nn）、DataNode(dn)、SecondaryNameNode
阿里纳斯_0097·2023-10-20 20:09

Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移

二PrimaryShard-提升系统存储容量分片是ES分布式储存的基石主分片/副本分片通过主分片，将数据分布在所有节点上PrimaryShard,可以将一份索引的数据，分散在多个DataNode上，实现储存的水平扩展主分片
bohu83·2023-10-20 06:11

Hadoop 文件读取

KeyWords:namenode,datanode,HDFS,HDFSClient,DistributedFileSystem,FSDataInputStreamHadoop文件读取Hadoop对于文件的读取流程
Grits·2023-10-19 07:47

Hadoop集群启动后，缺少namenode或datanode进程

问题描述：使用start-dfs.sh启动集群，然后使用jps查看进程时发现没有namenode或没有datanode。
y215204·2023-10-19 04:21

Hadoop启动后没有namenode进程的解决办法

[root@hadoop-single~]#jps1792SecondaryNameNode1937Jps1650DataNode2.如何解决:先关闭hadoop：stop-all.sh删除文件夹（/opt
真离谱·2023-10-19 04:49

启动HDFS时jps查看不到namenode

这里写自定义目录标题问题描述解决办法总结问题描述使用命令start-dfs.sh启动集群，然后使用jps查看进程时发现没有namenode，SecondaryNameNode、和DataNode正常启动
道可道 非常道·2023-10-19 04:48

hadoop启动集群之后没有namenode的一种情况

先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。
薯条不蘸番茄酱·2023-10-19 04:17

Hadoop集群当中主节点的NameNode进程启动不成功

原因：是因为多次格式化NameNode的原因，每次格式化NameNode的时候，hadoop集群就会产生一个新的集群ID，导致了NameNode和DataNode的集群ID不一致，所以导致运行start-all.sh
浩林ovo·2023-10-19 04:47

多次重新初始化hadoop namenode -format后，DataNode或NameNode没有启动

多次重新初始化hadoopnamenode-format后，DataNode或NameNode没有启动在搭建完hadoop集群后，需要对主节点进行初始化（格式化）其本质是清理和做一些准备工作，因为此时的
Oraer_·2023-10-19 04:47

hadoop启动后无namenode

一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决：1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current
congsha3684·2023-10-19 04:14

启动hadoop集群没有SecondaryNode和DataNode和NameNode的解决方案

目录一.没有SecondaryNode的解决方案二.没有DataNode的解决方案三.没有NameNode的解决方案进行以下操作时别忘记先关闭Hadoop集群一.没有SecondaryNode的解决方案启动
不染_是非·2023-10-19 04:13

Hadoop集群启动但是没有datanode/namenode的情况

但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。
Icy Hunter·2023-10-19 04:41

ElasticSearch 7.X 多节点集群搭建

一、节点规划主机名（hostname）IP节点名称（nodename）主节点候选（master-eligiblenodes）数据节点（datanodes）centos-node1172.24.61.98elastic-node1truetruecentos-node2172.24.8.14elastic-node2truetruecentos-node3172.24.58.89elastic-no
cug_david·2023-10-18 07:26

Hadoop分布式文件系统-HDFS

2.HDFS设计原理2.1HDFS架构HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：
shangjg3·2023-10-17 19:53

hadoop初探--性能分析２

可以看到DataNode1的数据量有2.3G，虽然比DataNode3和DataNode4数据量小，但是由于DataNode1是vm，其所依赖的ESXI总共才8G内存（ESXI总
weixin_33674976·2023-10-17 15:51

大数据-hadoop-初探03

**####一、完全分布式的安装**1、集群规划角色分配组件PC1PC2PC3HDFSNamenodeSecondaryNamenodeDatanodeDatanodeDatanodeYarnRecourceManagerNodemanagerNodemanagerNodemanagerHistroryHistroryServer2
taco詹詹·2023-10-17 15:49

五、hadoop初探：集群搭建

192.168.1.191)node2(192.168.1.192)node3(192.168.1.193)node4(192.168.1.194)NameNode√√×××ResourceManager√√×××DataNode
chengzhufu5164·2023-10-17 15:18

Hadoop3教程（六）：HDFS中的DataNode

文章目录（63）DataNode工作机制（64）数据完整性（65）掉线时限参数设置参考文献（63）DataNode工作机制DataNode内部存储了一个又一个Block，每个block由数据和数据元数据组成
经年藏殊·2023-10-15 08:55

【HADOOP】浅谈NameNode和SecondaryNameNode的工作机制

首先我们知道NameNode保存着数据的元数据信息，真正的数据存在于各个DataNode,那NameNode的元数据保存在哪里呢？这么重要的数据肯定不可能存在于内存，内存容易丢失，那肯定是磁盘了。
SmallScorpion·2023-10-15 08:21

Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍

数据本身实际存储在DataNodes中。NameNode知道HDFS中任何给定文件的块列表及其位置
奇迹虎虎·2023-10-15 08:20

Hadoop完全分布式搭建（NameNode与SecondaryNameNode分离）

功能角色主机角色node01192.168.74.201NameNodemaseternode02192.168.74.202SecondaryNameNodeN/Anode03192.168.74.203DataNodeworker
beeworkshop·2023-10-15 07:47

HDFS EC 对 distcp 的影响

其中文件的校验值通过FileSystem.getFileChecksum(Path)API获取，该API本质上是一个针对DataNode的RPC调用，需要DataNode高度配合才能完成。
xudong1991·2023-10-15 07:36

关于Hadoop的杂乱无章（续更）

hadoopJPS（是jdk的工具）：表示查看当前主机有哪些运行的进程NameNode：表示主节点DataNode：表示数据节点SecondaryNameNode：表示次要名称节点--节点表示：一台机器进程是运行在机器上的
脸ル粉嘟嘟·2023-10-14 23:28

hadoop namenode –format 错误

开关的临时文件删除把/hadoop.tmp.dir目录清空注：在每次执行hadoopnamenode-format时，都会为NameNode生成namespaceID,，但是在hadoop.tmp.dir目录下的DataNode
m0_67403013·2023-10-14 18:23
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他