namenode

CentOS 搭建 Hadoop3 高可用集群

HadoopFullyDistributedMode完全分布式spark101spark102spark103192.168.171.101192.168.171.102192.168.171.103namenodenamenodejournalnodejournalnodejournalnodedatanodedatanodedatanodenodemanagernodemanagernodem
李昊哲小课·2023-11-02 05:58

Hadoop 面试知识点整理

3538154.htmlhttp://www.aboutyun.com/thread-5337-1-1.html一句话知识点负责HDFS数据存储：DatanodeHDfS中的block默认保存几份：默认3份通常与NameNode
hakase_nano·2023-11-02 02:39

hdfs 读写过程

hdfs文件写入过程Client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传Client请求第一个block该传输到哪些
吾为天帝乎·2023-10-30 16:36

spark集群配置

目录1.集群部署规划2.安装Spark3.文件配置4.分发文件5.启动集群6.查看集群1.集群部署规划表1-1集群部署规划主机名masterslave1slave2HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeYARNResourceManagerNodeManageNodeManageNodeManagerSparkMasterWork
EsmeZhao·2023-10-30 08:39

HDFS（一）HDFS基本介绍

HDFS基本介绍HDFS的Master-Slave结构HDFS角色作用简介HDFS分块存储抽象成数据块的好处HDFS副本机制名字空间（NameSpace）NameNode功能DataNode功能机架感知原理
红叶゜·2023-10-30 07:27

大数据笔记-关于Cassandra的删除问题

Cassandra是Facebook开源的一个NoSQL数据库，它除了具备一般的NoSQL分布式数据库特点以外，最大的一个特点是去中心化架构设计，这和HadoopHDFS/HBase等不一样，比如HDFS分为NameNode
鬓戈·2023-10-30 06:48

Elasticsearch （优化）重要配置

Elasticsearch一些参数参数名参数值说明cluster.nameelasticsearch配置ES的集群名称，默认值是ES，建议改成与所存数据相关的名称，ES会自动发现在同一网段下的集群名称相同的节点node.namenode
Alienware^·2023-10-30 06:53

Hadoop的一些常见错误解决方案

1、启动hadoop时没有NameNode的可能原因：（1）NameNode没有格式化（2）环境变量配置错误（3）Ip和hostname绑定失败2、搭建hadoop集群使用ssh不成功①查看防火墙②检查用户权限
魂落忘川犹在川·2023-10-30 00:00

Ambari删除节点

Decommissioned查看HDFSWEB页面，等待完成之前的数据之后的数据2.停止节点上所有组件3.删除节点在删除节点的命令行执行ambari-agentstop4.重启HDFS所有组件重启过程中可以看到NameNode
字节侠·2023-10-29 22:10

hdfs读写过程是怎样的？

.客户端通过调用FileSyste对象的open()方法来打开希望读取的文件，对于Hdfs来说，这个对象是DistributedFileSystem的一个实例，2.通过使用远程过程调用（RPC）来调用namenode
乌拉乌拉儿·2023-10-29 14:34

Docker swarm 集群搭建

master10.10.10.32c2gnode0110.10.10.42c2gnode0210.10.10.52c2g主机名配置#master[root@master~]#hostnamectlset-hostnamemaster#node01[root@node01~]#hostnamectlset-hostnamenode01
萬萬萬v7·2023-10-29 08:42

大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经

大数据组件学习路线：阶段1：学习绿色箭头的知识点；阶段2：学习红色箭头的知识点；阶段3：学习蓝色箭头的知识点；1Hadoop1.1Hadoop1.x与Hadoop2.x的区别1.2HDFS架构（1）NameNode
For Coding·2023-10-28 21:50

hadoop常见的面试题

一、hdfs上传和下载文件流程hdfs上传客户端向namenode发出请求建立通信获得存储文件块的datanode节点,然后客户端将文件按照块的大小进行分块(hadoop2.7.3开始由64MB变成128MB
有一束阳光叫温暖·2023-10-28 19:10

CDH-hdfs配置HA后，hive查询报错

现象：查询时卡主不动，然后报错显示旧的那么namenode名称，而实际上我们已经配置了HA，应该连接的是一个namespace，该namespace名称下有一主一备两个namenode。
jay1122·2023-10-28 13:25

Flink savepoint | checkpoint 恢复

/flinksavepoint0d69ad4b526c7d7e491357bc842b1e75hdfs://hdfs-namenode-service:9000/flink-savepoints...Triggeringsavepointforjob0d69ad4b526c7
胖胖胖胖胖虎·2023-10-27 11:55

hadoop之旅2-centerOS7： 搭建分布式hadoop环境

hadoop的分布式架构（一主二从）主机名ip地址namenodedatanodemaster192.168.6.133是否slave1192.168.6.131否是slave2192.168.6.132
尔以凡·2023-10-27 07:44

Hadoop 请求数据长度 Requested Data length 超过配置的最大值

超时的destination是一个NameNode节点，然后查看NameNode节点的日志，报错如下：二、解决方案查找对应Hadopo源码源码org.apache.hadoop.ipc.Server.Connection
_lizhiqiang·2023-10-27 06:49

Hadoop-Hdfs-添加节点

tags:[Hadoop,Hdfs,大数据]1.添加白名单创建白名单文件hadoop3.x/etc/hadoop这个目录下创建白名单文件vimdfs.hosts向白名单文件中添加允许访问NameNode
_Unique_楠楠·2023-10-27 06:09

大数据之LibrA数据库常见术语（七）

NAMENODENamenode是hadoop系统中的一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。
红烧小肥杨·2023-10-26 19:52

Hadoop HDFS 数据流

HDFS写数据流程HDFS写数据流程.png客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
yljphp·2023-10-26 09:51

HDFS集群NameNode高可用改造

文章目录背景高可用改造方案实施环境准备配置文件修改应用配置集群状态验证高可用验证背景假定目前有3台zookeeper服务器，分别为zk-01/02/03，DataNode服务器若干；目前HDFS集群的Namenode
qq184861643·2023-10-26 07:25

HBase 压缩策略DateTieredCompactionPolicy

Log-StructuredMergeTree的架构，随着Flush阶段的不断触发，生成许多的HFile（默认128M），而不管是对于HDFS还是现有的HDD磁盘，大量的文件都会产生许多的问题：1、增加HDFSNameNode
凡尔Issac·2023-10-26 03:44

Hadoop学习笔记（2）Hadoop节点部署

一、Hadoop分布式架构在hadoop架构中，有两种节点角色：Master主节点NameNode（NN）SecondaryNameNode（SNN）ResourceManager（RM）Slave从节点
柏冉看世界·2023-10-24 16:37

Hadoop单点安装FAQ

安装源：yuminstallepel-release-yQ1:Startingnamenodeson[localhost]ERROR:AttemptingtolaunchhdfsnamenodeasrootERROR
DoNotStop·2023-10-24 11:08

hadoop启动报错：Attempting to operate on hdfs namenode as root

解决方案1：在环境变量中添加如下几个配置：vim/etc/profile添加exportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER
hzp666·2023-10-24 11:36

js入门基础——节点的属性

如果你想返回元素的文本，记住文本通常是插入到文本节点中，所以返回的是文本节点的节点值nodeType以数字值返回指定节点的节点类型nodeType(数值)nodeNamenodeValue元素节点1标签名
给俺也整一个·2023-10-24 11:59

Hadoop3教程（三十五）：（生产调优篇）HDFS小文件优化与MR集群简单压测

文章目录（168）HDFS小文件优化方法（169）MapReduce集群压测参考文献（168）HDFS小文件优化方法小文件的弊端，之前也讲过，一是大量占用NameNode的空间，二是会使得寻址速度变慢。
经年藏殊·2023-10-24 08:30

使用阿里云服务器搭建Hadoop分布式集群注意事项

/etc/hosts中原来的内容全部删除，然后加入namenode和datanode的ＩＰ以及名字；特别注意，master中的hosts中的mast
Clearlove灬Star·2023-10-24 04:16

在mac上进行hadoop集群搭建

软件版本操作系统&macOs11.2.1虚拟机&VMwareFusion12.1服务器&CentOS7.8jdk1.8hadoop2.9.2集群规划框架linux01linux02linux03HDFSNameNode
大鱼1995·2023-10-24 01:40

Mac-搭建Hadoop集群

搭建Hadoop集群我用到了：VMwareFusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和hadoop-2.7.6.tar.gz1、集群部署规划NameNode
weixin_30932215·2023-10-24 01:08

hadoop及其组件安装

一、hadoop安装所需环境操作系统集群配置搭建3节点完全分布式集群，即1个nameNode，2个dataNode，分别如下:主机名IP描述master10.221.101.1NameNodeslave110.221.101.2DataNameslave210.221.101.3DataNode
ZX_JS·2023-10-23 20:22

【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群

HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager
db_lxm_2072·2023-10-23 14:22

hadoop面试题

1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop的namenode宕机,怎么解决先分析宕机后的损失，宕机后直接导致client
清沐挽曦·2023-10-23 01:03

Hadoop3教程（二十六）：（生产调优篇）NameNode核心参数配置与回收站的启用

文章目录（143）NameNode内存配置（144）NN心跳并发配置（145）开启回收站参考文献（143）NameNode内存配置每个文件块（的元数据等）在内存中大概占用150byte，一台服务器128G
经年藏殊·2023-10-23 01:01

KubeSphere一键安装部署K8S集群（单master节点）-亲测过

1.基础环境优化hostnamectlset-hostnamemaster1&&bashhostnamectlset-hostnamenode1&&bashhostnamectlset-hostnamenode2&
qq_14910065·2023-10-23 00:08

Hadoop3教程（二十九）：（生产调优篇）集群扩容及缩容（白名单与黑名单）

配置白名单步骤如下，仅做了解，所以直接复制的教程内容：1）在NameNode节点的/opt/
经年藏殊·2023-10-22 10:31

Hadoop面试题（HDFS篇）

----------------------流程图---------------------------A(Client)--发送写请求-->B(NameNode)B--返回可用DataNodes列表-
Young_IT·2023-10-22 10:57

Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

文章目录（159）NameNode故障处理（160）集群安全模式&磁盘修复集群安全模式磁盘修复等待安全模式参考文献（159）NameNode故障处理如果NameNode进程挂了并且存储的数据也丢失了，如何恢复
经年藏殊·2023-10-22 05:05

hadoop之hdfs详解之一

HDFS是单台或集群伪分布式部署NameNode简称NNSecondaryNameNode简称SNNDataNode简称DNNN、DN、SNN部署在同一台机器上hdfs启动的命令脚本:sbin/start-dfs.sh
仙人掌仙人·2023-10-22 05:48

Hadoop集群主节点迁移

主要目的是实现异地容灾主要迁移的服务有：•namenode（journalnodezkfc）•resourcemanager•hiveserver2•hivemetastore•hive元数据库mysql
卢说·2023-10-22 01:08

记一次Linux主机内存脏数据引发的NameNode故障，主机提示echo 0 ＞ /proc/sys/kernel/hung_task_timeout_secs。

问题现象一台主机无缘无故死机;其上namenode服务无响应其发生准备切换。问题排查思路是：接收到主机网络不通告警；接收到其上namenod
卢说·2023-10-22 01:37

从入门到进阶 之 ElasticSearch 配置优化篇

ES会自动发现在同一网段下的集群名称相同的节点node.namenode-1(自定义)集
PJ码匠人·2023-10-21 23:18

k8s No Route to Host from xxx to xxx failed on socket timeout exception

但两个pod相互ping的通，并且通过脚本/opt/flink/bin/flinkrun-myarn-cluster-ynmV2xRTDataPersistenceToHDFS-shdfs://hdfs-namenode-serv
胖胖胖胖胖虎·2023-10-21 18:26

DOM 的属性

1.nodeNamenodeName属性规定节点的名称。
我家小宝_朱朱·2023-10-21 17:51

hadoop复习题

hdfs端口500709870访问MR执行情况端口80888088历史服务器1988819888客户访问集群端口900080202.HDFS2.1hdfs读流程和写流程2.1.1.读流程简单描述1.客户端向NameNode
梧桐林.·2023-10-21 12:37

搭建HBase分布式集群

hadoop4/hadoop5forfully-distributedHBasecluster,thesetupplanlookslike:hadoop3hadoop4hadoop5HadoophdfsNameNode
sun_xo·2023-10-21 07:23

HDFS之联邦

文章目录jvm瓶颈常规HDFS联邦MultipleNamenodes/Namespaces：独立的blockpool共用存储联邦的优势FederationConfigurationConfigurationBalancerDecommissoningClusterWebconsolejvm
zincooo·2023-10-21 07:44

hadoop基础结构

1.hadoop几个点HADOOP免费CDH收费HDP收费后2者合并成为CDP2.结构图HDFS就是分布式存储，包含NameNode（nn）、DataNode(dn)、SecondaryNameNode
阿里纳斯_0097·2023-10-20 20:09

windows 配置kerberos访问启用spnego的CDH 集群web UI页面

一问题描述CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
weixin_34038652·2023-10-20 08:18

Windows 配置kerberos访问并启动访问CDH 集群web UI页面

1、问题描述：CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
大大大大大大太阳·2023-10-20 08:14
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他