Namenode

大数据学习-辅助名称节点的配置

因为原来的节点只有一个名称节点和三个数据节点，现在为了学习辅助名称节点和进行机架感知，对节点进行扩充，添加了一个辅助名称节点和一个数据节点，顺便把namenode和datanode的dir添加一下，添加两个目录是为了防止一个目录中文件损坏另一个目录能继续使用
smallgrey·2023-03-18 12:54

HDFS的写

HDFS的写文件的流程：写入数据的流程：1:客户端向远程的NameNode发送一个RPC请求2：NameNode会检查所要创建的文件是否存在，操作的用户是否具有操作的权限，成功的话，会给文件创建一个记录
流砂月歌·2023-03-18 05:08

003 Impala | 安装前性能配置

如下几点，Short-CircuitReads开启HDFS短路读取HDFS也有短路读取的功能，因此在安装Impala之前开启次功能，这样Impala可以直接从filesystem中直接读取文件，而不需要经过NameNode
__destory__·2023-03-18 02:11

命令简介

解读：HadoopArchivehdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode中占用150byte内存。
大诗兄_zl·2023-03-16 21:22

Hadoop介绍——HA与联邦

Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题：–HDFS存在的问题•NameNode单点故障，难以应用于在线场景HA•NameNode压力过大，且内存受限，影扩展性F–MapReduce
南宫萧言·2023-03-16 20:45

Hadoop运维--完全分布式

二、网络规划服务器IP地址软件服务备注master192.168.71.130HadoopDataNode、NodeManager、NameNode、resourcemanagerJobHistoryServer
无剑_君·2023-03-16 02:28

CDH6.3配置HDFS高可用，多NameNode

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode
清蒸三文鱼_·2023-03-16 02:40

docker swarm集群

engine/swarm/swarm-tutorial/查看主机名$hostname修改主机名$hostnamectlset-hostnamemanager01$hostnamectlset-hostnamenode01
胸口砕大石·2023-03-15 23:31

hadoop环境搭建

参考hadoop官网具有QJM的NameNodeHA_Hadoop中文网https://hadoop.org.cn/docs/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.htmlhadoop
weixin_52806015·2023-03-15 13:42

Hadoop(一)--环境搭建

配置JDK五.设置公钥和私钥（ssh免密登录）六.伪分布式环境搭建（单台启动）6.1.Hadoop-配置core-site6.2.HSDFS部署（格式化&启动服务）6.2.1.格式化：bin/hdfsnamenode-format6.2.2
MaggieTang0622·2023-03-15 13:12

4.HDFS的数据流

4.1HDFS写数据流程4.1.1剖析文件写入1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。
码农GG·2023-03-15 11:12

hadoop生产调优之HDFS—集群扩容及缩容和服务器间数据均衡

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
tianyi6_6·2023-03-14 22:37

hadoop添加白名单 以及 黑名单

白名单（1）在NameNode的/opt/module/hadoop-3.2.1/etc/hadoop目录下创建dfs.hosts文件vimdfs.hosts内容不允许有其他字符包括空格hadoop112hadoop113hadoop114
普通网友·2023-03-14 22:21

HDFS高级-集群管理和运维

文章目录1HDFS数据迁移解决方案1.1数据迁移1.2HDFS分布式拷贝工具：DistCp2HDFSNAMENODE安全模式3HDFS高阶优化方案3.1短路本地读取3.2HDFSBlock负载平衡器3.3
火玄大数据·2023-03-14 22:14

hadoop添加服务器及白名单和黑名单的设置

1.在NameNode主
荷华·2023-03-14 22:14

HDFS服役和退役数据节点

环境准备克隆一台虚拟机node4修改ip地址和主机名称删除原来HDFS文件系统留存的文件在core-site.xml中配置的hadoop.tmp.dir目录下的所有文件服役新节点具体步骤1、在namenode
qq_45973211·2023-03-14 22:14

HDFS工作流程（工作机制）解析

Github上的相关文章1HDFS的数据流1.1HDFS写数据流程1.1.1剖析文件写入（1）客户端（这里的客户端指的是上传文件的机器）通过DistributedFileSystem(分布式系统)模块向NameNode
- Xu1Aan！·2023-03-14 22:43

148-153-Hadoop-调优-多目录-黑白名单

148-Hadoop-调优-多目录-黑白名单：NameNode多目录配置（真实使用HA）1）NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性[外链图片转存失败,源站可能有防盗链机制
镇魂Boby·2023-03-14 22:10

Hadoop-HDFS基础知识

Hadoop-HDFSHDFS概述1.背景定义2.优缺点3.组织架构4.HDFS文件块的大小(重点)NN和2NN工作机制1.Fsimage和Edits解析2.ChickPoint时间设置3.NameNode
Tancy.·2023-03-14 22:39

HDFS 动态扩容、动态缩容以及黑白名单

集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点，俗称动态扩容、节点服役Step1：新机器基础环境的准备主机名、IP配置Hosts配置防火墙、时间同步Step2：Hadoop配置修改namenode
不知落叶何时落·2023-03-14 22:37

HDFS

，通过目录树定位文件2、适合一次写入，多次读出的场景，不支持文件的修改，适合做数据分析优点：高容错，大容量，分布式缺点：不支持并发写入和随机修改，不适合低延时数据访问，对小文件低效2、HDFS架构1、namenode
编程每一天·2023-03-14 22:03

HDFS优化操作

目录一、HDFS的多目录操作1.NameNode多目录的配置2.DataNode多目录配置3.集群数据均衡之磁盘间数据均衡二、HDFS集群的扩容与缩容1.添加白名单2.添加新服务器3.服务器间数据均衡4
勤奋的ls丶·2023-03-14 22:32

HADOOP-集群搭建（1）

cd/kkb/install/hadoop-2.6.0-cdh5.14.2/格式化格式化操作只有在首次启动的时候需要，以后再也不需要了node01执行一遍即可bin/hdfsnamenode-format
拼搏向上001·2023-03-14 17:06

win10下hadoop伪分布式搭建

单机（非分布式）模式这种模式是在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统2、伪分布式运行模式这种模式也是在一种单机上运行，使用不同的java进程模仿分布式运行中的各类节点，namenode
地球上有个王家庄·2023-03-13 19:38

HDFS知识点总结

（随着节点数量的增加，集群的性能-计算性能和存储性能都会有所增加）当集群增加新节点之后，namenode也可以
longLiveData·2023-03-12 07:50

kubekey搭建集群环境

一、准备三台虚拟机1master最低2核2设置hostnamehostnamectlset-hostnamemasterhostnamectlset-hostnamenode1hostnamectlset-hostnamenode23
品儒·2023-03-11 11:06

格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx

在使用hadoopnamenode-format格式化NameNode时，提示如下错误：SHUTDOWN_MSG:ShuttingdownNameNodeatxxx/xxx.xxx.xxx.xxx网上提示
码农UP2U·2023-03-10 20:41

Zookeeper集群和Hadoop集群安装（保姆级教程）

1.HAHA（HeighAvailable）高可用解决单点故障，保证企业服务7*24小时不宕机单点故障：某个节点宕机导致整个集群的宕机Hadoop的HANameNode存在单点故障的可能，需要配置HA解决引入第二个
_woami·2023-03-10 03:49

分布式协调服务ZooKeeper使用入门

大数据服务通常都是分布式的，多个节点之间角色不同，在特殊情况下角色还会发生转换，比如HDFS中的NameNode和SidebyNameNode，YARN中的ResourceManager和StandbyResourceManager
文景大大·2023-03-10 00:22

Hadoop的启动和停止说明

包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守护进程。
鲜人掌·2023-03-09 14:07

Hadoop-生产调优手册

Hadoop-生产调优手册1HDFS—核心参数1.1NameNode内存生产配置1.2NameNode心跳并发配置1.3开启回收站配置2HDFS—集群压测2.1测试HDFS写性能2.2测试HDFS读性能
丶落幕·2023-03-09 11:20

Hadoop启动出错Cannot assign requested address

在腾讯云上配置hadoop，namenode一直启动不成功cat一下日志，看看发生了什么事cat$HADOOP_HOME/logs/hadoop-root-namenode-Namenode.log发现
wen_rc·2023-03-09 10:15

大数据框架之Hadoop：HDFS（四）HDFS的数据流（面试重点）

1）客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。
yiluohan0307·2023-03-09 07:13

Hadoop的三大核心组件之HDFS和YARN、MapReduce

（1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。
清风羽·2023-03-09 07:37

Hadoop分布式文件系统——HDFS

二、HDFS设计原理2.1HDFS架构HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：NameNode:负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等
Cynicism_Kevin·2023-03-09 07:05

Hadoop高可用(HA)集群搭建

通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即ac
five小点心·2023-03-09 07:03

Hadoop框架：HDFS高可用环境配置

一、HDFS高可用1、基础描述在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode
知了一笑·2023-03-09 07:32

linux部署KubeSphere和k8s集群

AlibabaCloudLinux系统3台机器第一步：设置主机名称hostname--(3台机器都设置)hostnamectlset-hostnamemasterhostnamectlset-hostnamenode1hostnamectlset-hostnamenode2
工作QQ感冒的石头·2023-02-22 02:31

Centos7搭建hadoop3.3.4分布式集群

2.1hdfs集群规划ip地址主机名部署服务192.168.121.140hadoop01NameNode,DataNode,JobHistoryServer192.168.121.141
·2023-02-21 13:09

（二）Hadoop集群配置安装

集群规划hadoop配置安装.pngNameNode、ResourceManager、SecondaryNameNode三者分别放在三个节点上，因为都要占用内存的资源，不要重复出现在一个节点上。
JayWolf·2023-02-18 12:11

HDFS HA硬件配置

documentation/enterprise/latest/topics/cdh_hag_hdfs_ha_hardware_config.html要使用Quorum-based的存储部署HA群集，您应该准备以下内容：NameNodehosts
金刚_30bf·2023-02-18 08:59

hadoop学习笔记（一）RemoteException:could only be replicated to 0 nodes instead of minReplication (=1)

最近在学习hadoop的使用从开始使用到现在一直都没出现过这种报错只是想要在hadoop上新建一个文件夹就报错namenodeisinsafemode属实给我整懵逼了我以为是我的集群最近开启-关闭的次数太多了出现了问题于是又坚持不懈的再次开启然后再次关闭
甜美腿毛怪·2023-02-18 07:55

Hadoop2.x分布式集群部署12

archive.cloudera.com/cdh5/通过//Linux环境的准备和设置10//已经将所有虚拟机的Hadoop2.5.0安装解压完成2.hadoop2.x分布式集群配置1.配置节点在机器1上配置namenode
麻帅·2023-02-17 22:29

HDFS 副本

1.副本策略NameNode具有RackAware机架感知功能，这个可以配置。
莫茫Link·2023-02-07 11:16

HDFS datanode 节点退役流程记录

在NameNode所在的机器上的配置文件hdfs-site.xml中增加"下线NameNode列表"配置:这块直接往配置目录的excloude文件写入内容，避免修改hdfs配置文件。
嘟嘟碰碰叮叮当当·2023-02-07 05:29

【大数据】第二章：搭建Hadoop集群（送尚硅谷大数据笔记）

两个常见面试题：1，Hadoop集群中常见的端口Hadoop2.xNameNode内部端口：8020/9000NameNod
DragonZhuCn·2023-02-06 19:03

大数据--毕业生

hadoophdfs的写流程：首先由三部分组成namenode,datenode,client。
编程爱上我吧·2023-02-06 09:11

（四）Hadoop参数调优

HDFS参数调优hdfs-site.xmldfs.namenode.handler.count=20*log2(ClusterSize)，比如集群规模为8台时，即20*8的对数，此参数设置为60ThenumberofNamenodeRPCserverthreadsthatlistentorequestsfromclients.Ifdfs.namenode.servicerpc-addressisn
JayWolf·2023-02-06 08:57

大数据开发：HDFS Namenode元数据管理

今天的大数据开发分享，我们就主要来讲讲HDFSNamenode元数据管理。Namenode元数据管理首先明确Namenode的职责：响应客户端请求、管理元数据。
成都加米谷大数据·2023-02-06 04:13

MapReduce小文件问题

MapReduce小文件问题(1).小文件处理的弊端1.每个小文件都要执行一次map任务,增加map任务的开销.2.小文件太多,会耗费很多时间去寻址.3.需要记录小文件的元数据,造成namenode的内存浪费
炉子吗尅_那撸多·2023-02-05 13:52
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他