Namenode

hadoop配置文件

(User用户/home/user/.ssh/)A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys产生安装hadoopBin目录-命令eg:hadoopnamenode-formatSbin
IT_CHEN_JJ·2021-11-19 20:56

Hadoop运行踩坑: Attempting to operate on hdfs namenode as root

/start-dfs.shWARNING:HADOOP_PREFIXhasbeenreplacedbyHADOOP_HOME.UsingvalueofHADOOP_PREFIX.Startingnamenodeson
小赵呢·2021-11-18 09:39

大数据——配置并启动集群/开启历史服务器和日志聚集

部署规划#hadoop102hadoop103hadoop104HDFSNameNode、DataNodeDataNodeSencondNameNode、DataNodeYARNNodeManagerResourceManager
Java面霸指南·2021-11-16 21:27

大数据集群服务启停脚本/常用端口/时间同步

stop-dfs.sh2、整体启动/停止YARNstart-yarn.sh/stop-yarn.sh各服务组件逐一启动/停止#1、分别启动/停止HDFS组件hdfs--daemonstart/stopnamenode
Java面霸指南·2021-11-16 21:33

当从 Java 进程查看时该主机的主机名称和规范名称不一致。

第二天我又重新设置了vim/etc/sysconfig/networkhostnamectlset-hostnamenodexxxhostnamenodexxx这三个就好了。。。唉
cclovezbf·2021-11-16 15:53

CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)

SSH安装免密登陆单机免密登陆——linux配置ssh免密登录linux环境配置Java变量配置Java环境变量安装Hadoop-3.3.0.tar.gz运行单机非分布式伪分布式1.修改配置文件2.格式化NameNode3
李好秀·2021-11-13 22:00

Hadoop分布式高可用HA集群搭建笔记（含Hive之构建），成功入职百度月薪35K

deploy.confmasternode,all,namenode,zookeeper,resourcemanager,slavenode1,all,slave,namenode,zookeeper,
程序员1024开源·2021-11-08 11:48

hadoop解决无法关闭问题：no namenode to stop/no datanode to stop

一、问题今天在自己电脑上将启动了好多天的hadoop集群关闭的时候，报了一个之前没遇到过的错误。关闭yarn集群的时候显示没有resourcemanager和nodemanager去停止，如下：[hadoop@hadoop103~]$stop-yarn.shstoppingyarndaemonsnoresourcemanagertostophadoop104:nonodemanagertostop
冷漠；·2021-11-05 16:56

大数据开发基础之HDFS参数调优步骤分享

1.NameNode数据目录dfs.name.dir,dfs.namenode.name.dir指定一个本地文件系统路径，决定NN在何处存放fsimage和editlog文件。
·2021-11-04 11:14

Hadoop生产调优手册

HDFS—核心参数1.1NameNode内存生产配置1）NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？
song_quan_·2021-10-27 11:15

【大数据】☀️搞定Hadoop集群☀️概述&环境配置

：二、Hadoop三大发行版：1.ApacheHadoop2.ClouderaHadoop3.HortonworksHadoop三、Hadoop的优势：四、Hadoop组成：1.HDFS架构概述：a）NameNode
故里º·2021-10-24 09:00

头歌Educoder云计算与大数据——实验三 分布式文件系统HDFS

实验三分布式文件系统HDFS第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明代码实现第2关：HDFS-JAVA接口之读取文件任务描述相关知识
36.6°·2021-10-23 19:07

Hadoop 入门笔记 十三 : HDFS集群滚动升级

例如，可以独立于NameNodes升级DataNodes。也可以独立于其他NameNodes升级单独NameNode。也可以独立于DataNodes和journalnodes升级NameNodes。
·2021-10-19 16:17

Hadoop 入门笔记 十 二 : HDFS Federation联邦机制

块存储层(BlockStorage)块存储层包括两个部分:块管理：NameNode执行块管理。块管理通过处理注册和定期心跳来提供DataNode群集成员身份。它处理块报告并支持
·2021-10-19 16:44

Hadoop入门三 : Hadoop集群搭建

HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager
·2021-10-15 17:04

大数据开发中相关HDFS的这几个问题应该知道

1.Namenode的安全模式？安全模式是Namenode的一种状态（Namenode主要有active/standby/safemode三种模式）。2.哪些情况下，Namenode会进入安全模式？
·2021-10-13 12:19

Zookeeper详解

1、在开源项目的使用：Hadoop：使用zookeeper做NameNode的高可用HBase：保证集群中只有一个masterkafka：集群成员管理、controller选举2、典型的应用场景：配置管理分布式锁组成员管理
霍森a马小银·2021-09-28 20:42

2021年超全超详细的最新大数据开发面试题，附答案解析 – 过往记忆

1Hadoop1.11.请说下HDFS读写流程1.22.HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办1.33.HDFS在上传文件的时候,如果其中一个DataNode突然挂掉了怎么办1.44.NameNode
·2021-09-25 10:00

大数据基础（hadoop环境搭建及使用）

Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）HadoopHadoop是什么Hadoop三大发行版本Hadoop优势Hadoop组成HDFSHDFS架构概述NameNode
向天再借500年·2021-09-08 12:34

hadoop格式化：java.io.IOException: Incompatible clusterIDs in /home/lxh/hadoop/hdfs/data: namenode cl...

错误为：java.io.IOException:IncompatibleclusterIDsin/home/lxh/hadoop/hdfs/data:namenodeclusterID=CID-a3938a0b
你的努力时光不会辜负·2021-09-07 10:13

准备安装环境

--网络设置vi/etc/hostnamenode1nmcliconnectionmodifyenp0s3ipv4.addresses192.168.56.84/24ipv4.gateway192.168.56.1ipv4
·2021-09-06 17:29

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统

的两种方式（3）API客户端上传下载文件（4）API客户端文件详情及文件类型判断（5）API客户端IO流操作（6）API客户端IO流的seek读取3.HDFS读写机制解析4.HDFS元数据管理机制（1）Namenode
cutercorley·2021-09-04 21:36

Hadoop源码分析六启动文件namenode原理详解

1、namenode启动在本系列文章三中分析了hadoop的启动文件，其中提到了namenode启动的时候调用的类为org.apache.hadoop.hdfs.server.namenode.NameNode
·2021-09-02 18:28

Hadoop源码分析五hdfs架构原理剖析

目录1、hdfs架构如果在hadoop配置时写的配置文件不同，启动的服务也有所区别namenode的下方是三台datanode。namenode左右两边的是两个zkfc。
·2021-09-02 18:27

二、HDFS 概述与基本使用

HDFS基本组成1、HDFS涉及两个重要进程：NameNode、DataNode；2、表现形式上：主要是目录
阿文灬·2021-08-31 15:35

详细讲解HDFS的高可用机制

目录互斥机制写流程读流程恢复流程在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态
·2021-08-23 18:58

HDFS-Hadoop NameNode高可用机制

目录1-为什么要高可用2-NameNode的高可用发展史3-HDFS的高可用架构3.1Standby和Active的命名空间保持一致3.2同一时刻只有一个ActiveNameNode4-HDFS高可用的实现原理
·2021-08-23 16:55

带你了解HDFS的Namenode 高可用机制

目录HDFSNameNode高可用HadoopNamenode高可用架构Namenode高可用的实现隔离（Fencing）QJM共享存储HDFSNameNode高可用在Hadoop2.0.0之前，一个集群只有一个
·2021-08-23 16:46

CDH集群断电重启后DataNode无法连接到NameNode

周末公司断电，之后发现集群一个DataNode无法连接到NameNode，看了日志和页面报错一致。
等闲之辈莫等闲·2021-08-23 16:14

新手Hadoop安装 环境搭建

打开终端输入如下命令：2.设置密码三.进行Hadoop内部环境的搭建四.安装ssh并配置无密码登陆1.登陆2.设置无密码登陆五.安装Java环境六.安装Hadoop七.Hadoop伪分布配置1.配置文件2.开启NameNode
·2021-08-13 11:12

HDFS RBF模式RPC吞吐量瓶颈的优化探索

文章目录前言RBF模式的RPC吞吐量问题原因猜想网络延时的影响Router本身服务处理的影响Router和NameNode之间的通信问题Router的Handler异步化改造Router，NN之间的SASL
Android路上的人·2021-08-08 17:31

大数据之 Hadoop-5-HDFS

一个HDFS集群由一个元数据节点（NameNode）和一些数据节点（DataNode）组成。举个例子，我们可以把NameNode想象成一个仓库管理员，管理仓库中的商品；DataNode想象
·2021-07-27 19:12

HDFS - 写数据的那些事

之前也提过，客户端需要写数据的时候，就会跟NameNode说他准备把文件上传到某个目录，NameNode就会开始进行元数据的更新。由于元数据的更新是非常重要的，所以客户端会在一定条件内重试，直至成功。
·2021-07-27 19:40

Hadoop系列

HadoopHadoop-集群安装Hadoop-集群安装（高可用）HDFSHDFS-文件越来越多怎么办HDFS-HDFS的四个角色HDFS-NameNode的高可用HDFS-安全模式是什么HDFS-NameNode
·2021-07-27 19:09

HDFS - 双缓冲机制如何保证对元数据的高并发请求

我们在HDFS-什么是元数据中提到了，元数据会存在与内存和磁盘中，内存为了提高响应速度，磁盘是为了持久化保证数据的安全，但是写磁盘的速度相对于内存是慢了几个数量级的，如果NameNode每次都要把数据落到磁盘上那是没办法处理那么多客户端的请求的
·2021-07-27 19:45

面试系列四 之 项目涉及技术Hadoop

1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号
·2021-07-27 19:45

HDFS - NameNode如何感知到DataNode的

注册在HDFS-HDFS的四个角色提到了NameNode启动的时候，会开启RPC服务，叫做ServiceRpcServer，这个Server有很多个协议，其中一个叫做DatanodeProtocol协议
·2021-07-27 19:11

HDFS - NameNode的高可用

高可用我们已经知道了，读取文件、上传文件，都需要经过NameNode，如果NameNode宕机了，那客户端就不知道往哪里读写数据，整个集群就不可用了。
·2021-07-27 19:38

HDFS - 安全模式是什么

HDFS-NameNode的高可用提到了NameNode有active状态和standby状态，他还有另外一个状态，就是safemode，安全模式。
·2021-07-27 19:38

HDFS - HDFS的四个角色

在HDFS中，有这几种角色：NameNode：负责处理Client的请求、元数据管理等其他功能。DataNode：主要就是存储文件块的。Client：客户端，与NameNode、DataNode交互。
·2021-07-27 19:37

大数据学习之Hadoop+Zookeeper

安装环境共五个节点namenodenamenode2datanode1datanode2datanode3关闭防火墙，selinux，增加hadoop账户，免密登录，一、Zookeeperzookeeper
我问你瓜保熟吗·2021-07-20 16:08

hdfs 文件统计

namenode记录了每个文件的创建时间和最后读取时间，文件的路径和文件尺寸。为了拉取hdfs上的文件的创建时间、读取时间、文件尺寸，创建了如下python脚本.脚本使用snakebi
飞有飞言·2021-07-01 23:31

【Mac大数据开发】第五篇-分布式集群和免密登陆

配置方案如下：bigdata1bigdata2bigdata3HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNnodeManagerResourceMangerNodeManagernodeManager
irving_yuan·2021-06-25 23:29

FSImage 和 EditsLog

一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。而随着存储文件的增多，NameNode上存储的信息也会越来越多。
yepeng05·2021-06-25 10:24

Hadoop - YARN

Hadoop2.x介绍-重点三.yarn的产生四.YARN各个组件的作用五.YARN的工作原理六.YARN的容错性及调度器七.关于yarn常用参数设置一.Hadoop1.x介绍Hadoop1.x文件系统核心模块：NameNode
smart_Xu·2021-06-23 07:26

HDFS - CheckPoint机制是怎么实现的

HDFS-什么是元数据我们提到了CheckPoint机制，主要就是合并多个edits文件，NameNode的压力已经很大了，所以合并的事情，并不是NameNode来做的，而是SecondaryNamenode
·2021-06-23 02:59

HDFS - CheckPoint机制是怎么实现的

HDFS-什么是元数据我们提到了CheckPoint机制，主要就是合并多个edits文件，NameNode的压力已经很大了，所以合并的事情，并不是NameNode来做的，而是SecondaryNamenode
·2021-06-23 02:55

大数据||HDFS启动时安全模式（safemode）

安全模式期间：nameNode启动成功后到收到99.99%的datanode块数据。
明明德撩码·2021-06-22 03:00

Hadoop进阶1

（2）分布式文件系统通过使用RPC（远程过程调用）来调用namenode，确定文件起始块的位置。（3）分布式文件系统的DistributedFile
neo_ng·2021-06-21 17:04

面试系列四 之 项目涉及技术Hadoop

1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号
·2021-06-21 00:24
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他