namenode

Java大数据学习~Hadoop初识二读取与写入流程

HDFS的写入流程在HDFS客户端想要往HDFS写入文件，流程如下写入数据流程图首先客户端发送请求，携带者配置文件信息，还有文件的路径访问到NameNode后，NameNode根据文件路径，去查看该路径是否存在
胖琪的升级之路·2023-09-23 00:04

k8s学习(12)--在linux上直接安装kubesphere集群版

，其中128为master节点，129为node1，130为node2，修改主机名并关闭三台机子的防火墙hostnamectlset-hostnamemasterhostnamectlset-hostnamenode1hostnamectlset-hostnam
mac文的java路·2023-09-22 23:11

大数据-hadoop

Cloudera在大型互联网企业中用的较多Hortonworks文档较好1.4架构hadoop由三个模块组成分布式存储HDFS分布式计算MapReduce资源调度引擎Yarn分布式文件存储系统HDFSNameNode
highly2009·2023-09-22 10:59

Hadoop集群之HDFS

架构介绍HDFS采用的是主从架构(Master/Slave)，其中namenode是
风起云端·2023-09-22 03:33

大数据学习之Hadoop

HDFS：HDFS是由Namenode和Datanode组成。Namenode负责管理文件系统的namespace和客户端对文件的访问。Datanode负责管理节点上的存储。
我问你瓜保熟吗·2023-09-21 04:40

Hadoop集群--(2)启动&初体验

本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的hdfsnamenode-format或者hadoopnamenode-format1.1.单节点逐个启动在主节点上使用以下命令启动HDFSNameNode
周凡_07b2·2023-09-21 02:06

centos7 mysql集群搭建

mysql集群前置条件修改集群节点设备计算机名称hostnamectlset-hostnamenode1#以此类推node2,3实现集群节点之间的ssh互信功能functionssh_trust(){result
祈心无尘·2023-09-20 15:59

开源分布式存储系统（HDFS、Ceph）架构分析

文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCephMonitor分析CephOSD分析
gengduc·2023-09-20 05:25

[hive]搭建hive3.1.2hiveserver2高可用可hive metastore高可用

hiveonsparkhiveserver2webUI高可用集群启动脚本_薛定谔的猫不吃猫粮的博客-CSDN博客没用里头的hiveonspark,测试后发现版本冲突一、Hive集群规划(蓝色部分)ck1ck2ck3SecondaryNameNodeNameNodeDataNodeDataNod
胖胖学编程·2023-09-20 05:34

Hadoop的HDFS高可用方案

一、Hadoop高可用简介Hadoop高可用(HighAvailability)分为HDFS高可用和YARN高可用，两者的实现基本类似，但HDFSNameNode对数据存储及其一致性的要求比YARNResourceManger
万里长江横渡·2023-09-19 20:55

Hadoop2.0 HDFS高可用架构

上图是一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端
truezqx·2023-09-19 09:35

Hadoop NameNode执行命令工作流程

HadoopNameNode执行命令工作流程客户端API或者CLI与NameNode的交互命令数据的格式(1)预处理流程(2)创建NameNode与NameNodePrcServer流程(3)HDFSAPI
lastembryoXX·2023-09-19 07:27

macOS Big Sur系统基于docker部署Hadoop集群

macOSBigSur11.3.11.集群环境要求类别版本OScentos7jdkjdk1.8hadoopHadoop2.9.22.集群规划集群服务器名称IP集群规划linux001172.16.0.2namenode
回笼觉觉猪·2023-09-19 05:48

Centos7服务器初始化

一.修改主机名修改所有三个主机名：静态、瞬态和灵活主机名：[root@localhost~]#hostnamectlset-hostnamenode001[root@localhost~]#hostnamectlset-hostname
攻城狮悠扬·2023-09-18 10:37

MapReduce & YARN 的部署

1、部署说明HadoopHDFS分布式文件系统，我们会启动：NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理，HadoopYARN分布式资源调度
新征程，再出发·2023-09-18 03:30

安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down NameNode at master及Hadoop namenode节点无法启动的问题解决

系统提示且namenode一直无法启动如果是这种情况就去看虚拟机的hostname的名称是否和虚拟机的vi/etc/hosts中的ip是否配的一致，如果没有的话，就修改下名称或者ip然后重启网络namenode
zhaozuoyou·2023-09-17 22:46

大规模数据处理之架构图

①NameNode：维护文件元数据FsImage和操作日志EditLog。②SecondaryNameNode：NameNode的备份的进程。
JerryTom·2023-09-17 20:19

HDFS的Shell操作

1.1.1、一键启动HDFS集群$HADOOP_HOME/sbin/start-dfs.sh，一键启动HDFS集群start-dfs.sh执行原理：在执行此脚本的机器上，启动SecondaryNameNode
新征程，再出发·2023-09-17 09:23

六、HADOOP-HA(zookeeper之后)

一、HDFS的HAHSFS传统集群只有一个NameNode，当此Manager宕机后，整个集群就宕机了，只有等管理员手动重启修复了NameNode之后，才会恢复。
一种依耐丶从未离开·2023-09-17 08:17

企业级数据仓库-数仓实战

1、设置每个虚拟机的hostnamevi/etc/sysconfig/network修改HOSTNAME=node02修改hostnamehostnamectlset-hostnamenode022、设置每个虚拟机的
beyond_champion·2023-09-17 03:06

prometheus day06

nameprometheus_serverprom/prometheus:v2.37.02.部署nodeexporter:dockerrun-d--networkhost--restartalways--namenode-expor
港南四大炮亡·2023-09-17 00:01

【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode

引言最近在尝试在搭建Hadoop集群并测试集群是否搭建成功，但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，
wydxry·2023-09-16 07:27

hadoop启动报错：Attempting to operate on hdfs namenode as root

/usr/bin/envbashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER
Agatha方艺璇·2023-09-16 02:44

来了来了，2023年某中大厂真实面经！

Hdfs小文件危害，元数据压垮namenode，怎么处理？5. 为什么开启map—join后会减小
王知无(import_bigdata)·2023-09-15 16:40

OushuDB 安装与升级之安装 HDFS

hawqssh-fhostfile-e'yuminstall-yhadoophadoop-hdfs'配置NameNode目录，需要配置的节点有两个，ou
北漂一号·2023-09-14 14:46

Linux安装Ansible管理工具

192.168.186.128ansible192.168.186.129node1192.168.186.130node2192.168.186.131node3#永久修改主机名hostnamectlset-hostnameansible&&bash#在ansible上操作hostnamectlset-hostnamenode1&
qq_14910065·2023-09-14 13:22

大数据Hadoop高可用

HA高可靠集群hdfs中的HA搭建：三个namenode如何保证数据一致？
十七✧ᐦ̤·2023-09-13 15:43

Hadoop源码阅读（一）：NameNode启动

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：下载源码之后得到hadoop-3.1.3-src.tar.gz压缩包，在当前目录打开PowerShell，使用tar-zxvf指令解压即可，然后使用IDEA打开hadoop-3.1.3-src文件夹
THE WHY·2023-09-13 14:35

Middleware ❀ Hadoop功能与使用详解（HDFS+YARN）

文章目录1、服务概述1.1HDFS1.1.1架构解析1.1.1.1Block数据块1.1.1.2NameNode名称节点1.1.1.3SecondaryNameNode第二名称节点1.1.1.4DataNode
无糖可乐没有灵魂·2023-09-13 08:13

把yum源配置为ftp服务

中默认的yum源文件2.2创建新的yum源文件2.3更新yum软件列表环境介绍：有node1和node2两台Centos7虚拟机环境准备：修改node1的主机名：hostnamectlset-hostnamenode1
pit_man·2023-09-13 00:18

5. spark 参数问题

官网地址：spark参数在代码中设置参数spark-default.confdfs.namenode.rpc-address.hdfs-cluster.nn1xxx:9000目前大多数的集群都是8020
笔生花·2023-09-12 07:36

Hadoop之HDFS使用命令(常用)

本篇仅记载部分常用命令若无所需命令可查看官方网站ApacheHadoop3.3.6–Overview注：一切命令仅在启动HDFS集群后执行，否则会报错注：仅在hadoop用户下操作在Linux中超级用户是：root但HDFS的超级用户是：启动namenode
⚝ ⚝·2023-09-11 13:07

黑猴子的家：HDFS写数据流程

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。
黑猴子的家·2023-09-10 16:11

淘宝双11数据分析与预测--“坑点”汇总

淘宝双11数据分析与预测实验连接：点击这里问题一：安装Hadoop时报错报错内容：Startingnamenodeson[localhost]localhost:mkdir:无法创建目录"/usr/local
weixin_33671935·2023-09-09 21:16

Hadoop分布式集群部署

在阿里云临时租了三台服务器，做hadoop部署使用.集群角色分工第1台：hadoop-master角色：NameNode;ResourceManagerAddr：172.26.73.102第2台：hadoop-slave1
陈超Terry的技术屋·2023-09-09 16:42

Initialization failed for Block pool (Datanode Uuid unassigned)

文章目录一、原因二、解决：2.1思路：2.2步骤：一、原因是namenode和datanode的clusterID不一致导致datanode无法启动.二、解决：2.1思路：删除data、tmp、namenode
东语~·2023-09-09 14:16

hadoop3.3.4集群安装部署

文章参考地址：hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客启动的时候namenode没启动成功，原因是需要格式化找到路径：/home/servers/hadoop-3.3.4/bin
早退的程序员·2023-09-09 08:07

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

大数据技术之Hadoop：Yarn集群部署（七）

3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS分布式文件系统，我们会启动：NameNode
何苏三月·2023-09-09 04:19

SecondaryNameNode和DataNode的目录结构

SecondaryNameNode目录结构SecondaryNameNode的目录结构和NameNode的目录结构一样。为啥要这么设计呢？
名字想好没·2023-09-09 02:18

[译]HDFS的中心化缓存 (Centralized Cache Management in HDFS)

原文概览HDFS上的中心化缓存是一个显式的缓存机制,使得用户可以指定哪个路径被缓存.Namenode和拥有指定文件块的DataNode们通讯,并命令他们将文件块缓存到堆外缓存中.HDFS的中心化缓存管理有如下的明显优势
cfcodefans·2023-09-08 20:30

hadoop完全分布式+zookeeper集群+NameNode HA+ yarn HA

hadoop完全分布式+zookeeper集群+NameNodeHA+yarnHA1、centos7基础环境系统IP主机名用户名密码centos710.1.1.101masterrootpasswordcentos710.1.1.102slave1rootpasswordcentos710.1.1.103slave2rootpassword
@天道酬勤@·2023-09-08 17:33

HDFS 的元数据辅助管理-SecondaryNameNode

HDFS的元数据辅助管理当Hadoop的集群当中,NameNode的所有元数据信息都保存在了FsImage与Eidts文件当中,这两个文件就记录了所有的数据的元数据信息,元数据信息的保存目录配置在了hdfs-site.xml
你值得拥有更好的12138·2023-09-08 14:29

SecondaryNamenode工作机制

NameNode的作用：主要用来保存HDFS的元数据信息，比如命名空间信息、块信息等。为什么会产生SecondaryNamenode？
d84851fe3c42·2023-09-08 13:14

一百七十三、Flume——Flume写入HDFS后的诸多小文件问题

一、目的在用Flume采集Kafka中的数据写入HDFS后，发现写入HDFS的不是每天一个文件，而是一个文件夹，里面有很多小文件，浪费namenode的宝贵资源二、Flume的配置文件优化（参考了其他博文
天地风雷水火山泽·2023-09-08 12:14

大数据技术之Hadoop：HDFS存储原理篇（五）

目录一、原理介绍1.1Block块1.2副本机制二、fsck命令2.1设置默认副本数量2.2临时设置文件副本大小2.3fsck命令检查文件的副本数2.4block块大小的配置三、NameNode元数据3.1NameNode
何苏三月·2023-09-08 06:39

hdfs滚动升级（rollingUpgrade ）

滚动升级允许datanode、namenode等组件各自独立的升级，且不用停
Interest1_wyt·2023-09-08 05:09

namenode-HA

Namenode在HDFS中是一个非常重要的组件，相当于hadoop集群系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式就体现出作用了。
MOOJ·2023-09-08 00:29

启动hadoop并测试问题合集

/hdfsnamenode-format（显示这个就为成功，很长的，慢慢找）==========以上为前提，然后开始遇见问题===========问题1：输入jps的时候说找不到？
Aure_xl·2023-09-07 13:45

Hadoop 集中式的缓存管理demo

特点：由namenode管理。那么HDFSclien
orisonchan·2023-09-07 09:52
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他