namenode

如何解除hadoop安全模式问题

hadoop安全模式无法关闭问题问题描述：今天在hadoop上传递数据时，由于数据文件太大，运行到一半突然复制中断，导致出现了安全模式，报“namenodeisinsafemode”的错误提示。
青枫浦上看桃花·2023-11-25 03:16

大数据集群报错集锦及解决方案

文章目录前言1Hadoop1.1Yarn上执行MR计算报错空指针1.2NameNode启动失败2Hive2.1Hive数据量过大3Kafka3.1Kafka集群部分机器起不来4Azkaban4.1Azkaban
陈舟的舟·2023-11-24 16:22

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验

版本：centos7hadoop3.1.3javaJDK:1.8集群规划：masterslave1slave2HDFSNameNodeDataNodeDataNodeSecondryNameNodeDataNodeYARNNodeManagerResourceManageNodeManagerNodeManager1
芝士小熊饼干·2023-11-24 09:05

在阿里云服务器上配置Hadoop单机环境无法启动namenode

报错信息如下：Failedtostartnamenode.java.net.BindException:Problembindingto[test01:9000]java.net.BindException
analanxingde·2023-11-23 16:39

伪分布式系列 - 第一篇 - hadoop-3.2.0环境搭建

的三种运行模式单机模式伪分布式模式全分布式集群模式环境准备系统环境ssh免密码连接防火墙关闭jdk安装配置相关环境变量配置安装包下载Hadoop配置解压hadoop文件配置linux环境配置启动服务格式化NameNode
rolin-刘瑞·2023-11-23 15:21

Hadoop学习笔记：运行wordcount对文件字符串进行统计案例

其中，一台服务器作为NameNode，一台作为SecondaryNameNode，剩下两台当做DataNodes节点服务器，类似下面这样一个架构——NameNodeSecondaryNameNodeDataNodesmaster1
朱季谦·2023-11-23 13:38

记录一次因内存不足而导致hiveserver2和namenode进程宕机的排查

背景最近发现集群主节点总有进程宕机，定位了大半天才找到原因，分享一下排查过程查询hiveserver2和namenode日志，都是正常的，突然日志就不记录了，直到我重启之后又恢复工作了。
记录点滴人生·2023-11-23 12:07

hdfs命令行操作摘录

hdfs分布式文件系统优点：一次写多次读；流式数据访问；一次写入、多次读取缺点：高延迟；不适合存储大量小文件NameNode负责管理整个dfs文件系统的元数据，即，存储所有的文件目录、每个文件的具体信息
佛系小懒·2023-11-23 07:01

Kubernetes（k8s）之Pod详解

详解一、Pod介绍pod结构pod定义二、Pod配置pod基本配置镜像拉取策略启动命令环境变量端口设置资源配额三、Pod生命周期创建和终止初始化容器钩子函数容器探测重启策略四、Pod调度定向调度NodeNameNodeSelector
你看月亮好美·2023-11-22 20:24

格式化名称节点，启动Hadoop

/bin/hdfsnamenode-format3.启动所有节点.
北辰Charih·2023-11-22 14:04

hadoop常用端口号

1，namenodehttp端口：500702，datanodehttp端口：500753，secondaryNameNode节点http端口号：500904，datanode后端访问端口号：500105
wangxiaowu_001·2023-11-22 09:43

hadoop常用的端口号

dfs.namenode.http-address（namenodehttp端口）:50070dfs.datanode.http-address（datanodehttp端口）:50075SecondaryNamenode
星空下的那个人影·2023-11-22 09:42

Hadoop之常用端口号

hadoop3.xHDFSNameNode内部通常端口：8020、9000、9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况的端口：8088历史服务器：19888HDFSNameNode
m0_67393828·2023-11-22 09:41

hadoop3.x系列完全分布式集群部署（集群各节点设置与端口号的设置）

（三台虚拟机必须在同一网段）详细配置信息请看hadoop3.x系列完全分布式集群部署（虚拟机网络连接、jdk安装、hadoop安装）_杂乱无章的我的博客-CSDN博客一：集群部署规划NameNode与SecondaryNameNode
杂乱无章的我·2023-11-22 09:10

Hadoop常用端口号及配置文件

端口号Hadoop3.xHDFSNameNode内部通常端口号：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务的运行情况：8088历史服务器：90080Hadoop2
LydiaaLi·2023-11-22 09:09

hadoop常用端口号与配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2
UserOrz·2023-11-22 09:39

Hadoop 3.X 和 2.X 的常用端口号和配置文件

Hadoop常用端口号Hadoop3.XHDFSNameNode内部通信端口：8020/9000/9820HDFSNameNodeHTTPUI：9870HDFSDataNodeHTTPUI：9864Yarn
hmyqwe·2023-11-22 09:38

Hadoop性能调优概要说明

Hadoop容易遇到的问题有：Namenode/jobtracker单点故障、HDFS小文件问题、数据处理性能等。为此“HadoopPerformanceOptimization”(HPO)是必要的。
fjssharpsword·2023-11-22 09:07

Hadoop常用端口号和配置文件

Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号
cipay666·2023-11-22 09:37

hadoop——常用端口号——常用的配置文件,3.x与2.x区别

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2
小魏___·2023-11-22 09:37

hadoop常用端口号/常用配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870yarn查看任务允许情况的:8088历史服务器：19888hadoop2
asd623444055·2023-11-22 09:06

Hadoop学习-常用端口和配置文件

一、常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2
HaveAGoodDay.·2023-11-22 09:34

hadoop 常用端口号，常用配置文件都有哪些？hadoop3.x端口号 hadoop(十二)

1.hadoop3.x系列常用端口号：类型desc端口hdfsNameNode内部通常端口号8020/9000/9820hdfsNameNode对用户的查询端口9870yarn查看历史任务运行情况8088
不努力就种地~·2023-11-22 09:34

hadoop、hive、DBeaver的环境搭建及使用

hadoop、hive的结构及使用，具体的操作步骤见最后的附件；hadoop提供大数据的存储、资源调度、计算，分为三个模块：HDFS、YRAN、MapReduceHDFS提供数据的分布式存储，分为三个节点NameNode
骑士999111·2023-11-22 03:14

Hadoop-- hdfs

1、HDFS中的三个进程：NameNode（NN）、DataNode(DN)、SecondNameNode(SNN)2、NameNode（NN）1、作用：1、接收客户端的一个读、写的服务，在namenode
新手小农·2023-11-21 11:11

HDFS常见面试题

主要是NameNode内存会受限。由于NameNode会将文件系统的元数据都存储在内存中，因此所能存储的文件总量受限于NameNode的内存总容量。
海中大咸鱼·2023-11-20 12:02

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

首先启动hdfs，启动方式可见上一个博文，或者单独启动hdfs，方式就是运行start-dfs.sh启动成功后，输入jps可以看到至少一个namenode和至少一个datanode和一个jps一、创建路径
西岸先生·2023-11-20 12:31

hdfs集群启动的常见问题

hdfs集群启动的常见问题1、用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：a、在服务器的终端命令行使用jps查看相关进程观察节点是否存活b、如果已经知道了启动失败的服务进程
一溪云~·2023-11-20 12:27

大数据基础——HDFS（分布式文件系统）

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念
我菜的要死·2023-11-20 02:49

大数据学长面试之华为面试题

2）外包总部d1区：（1）namenode内存满了，如何进行扩容，调什么参数。（2）linux命令怎么查看mr任务的jobid（3）kafka消费者消费数据的流程，细节到进程和线程这一层。
大数据小理·2023-11-20 01:15

9 HDFS架构剖析

128MB一块128MB8=1GB1288*1024=1TB5T数据分成的128MB的块数=8192*5客户端(client)代表用户通过与namenode和datanode交互来访问整个文件系统。
水无痕simon·2023-11-19 23:41

大数据之hadoop-hdfs知识通俗详解

目录疑问存储模型（重要）架构设计角色功能NameNodeDataNode元数据持久化安全模式HDFS中的SNNSecondaryNameNode（SNN）Block的副本放置策略HDFS写流程HDFS读流程总结疑问分布式文件系统那么多
shw12357·2023-11-19 10:27

hdfs多用户读写权限设置

多个用户都能对文件有操作(读写)权限.1》在hdfs中设置umask为002,则新目录的权限为775,新文件的权限为664,只要都是supergroup组的用户都有权限进行读写2》在namenode上创建
飞有飞言·2023-11-19 09:35

2023.11.17 hadoop之HDFS进阶

目录HDFS的机制元数据简介元数据存储流程:namenode生成了多个edits文件和一个fsimage文件edits和fsimage文件SecondaryNameNode辅助NameNode的方式:HDFS
白白的wj·2023-11-19 08:35

Hadoop面试题

Hadoop要点1、Hadoop运行模式2、Hadoop的组成4、block份数和大小默认配置5、HDFS读写数据流程（★）6、节点距离和机架感知（副本存储节点选择）（☆）7、SecondaryNameNode8
果子哥丶·2023-11-19 02:45

CentOS7基于Hadoop 2.7.3安装Hive 2.1.1

1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装
李天泉·2023-11-19 00:14

hadoop学习笔记1了解流程大概

海量数据的存储hdfs海量数据的计算：mapreducehdfs概述namenode：元数据，存储在哪个节点，存储什么信息datanode：存储数据2nn：备份namenode的信息yarn概述负责集群资源的管理
小美元·2023-11-18 20:06

学习大数据过程中遇到的奇葩问题

hadoop主节点开启的集群居然把DataNode和NodeManager都开启了错误：62099Jps61284ResourceManager61127SecondaryNameNode56570NodeManager60927NameNode63421DataNode
weixin_44864919·2023-11-16 20:12

3. hdfs概述与高可用原理

架构hdfs由四大组件组成，分别是NameNode、DataNode、ZKFC，journalnodeNameNode:管理所有文
shura1014·2023-11-16 20:35

Hadoop-HDFS架构与设计

HDFS概述1.设计原则1.1硬件错误1.2流水访问1.3海量数据1.4简单一致性模型1.5移动计算而不是移动数据1.6平台兼容性2.HDFS适用场景3.HDFS不适用场景三、HDFS架构图1.架构图2.Namenode3
临江蓑笠翁·2023-11-16 06:15

hadoop学习10

Hadoop学习（十）1.HDFS核心参数1.NameNode内存生产配置(1)NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？
StopM·2023-11-15 20:12

CentOS7 Hadoop 3.3.4 集群安装（1 NameNode，3 DataNode）

集群网络配置：准备三台CentOS7的服务器：IP服务器名称192.168.21.25Master192.168.21.26Slave01192.168.21.27Slave02修改hosts#Master服务器vi/etc/hosts192.168.21.26Slave01192.168.21.27Slave02192.168.21.25Master#Slave01服务器vi/etc/hosts
YuG丶·2023-11-15 05:48

Centos7搭建hadoop3.3.4分布式集群

2.1hdfs集群规划ip地址主机名部署服务192.168.121.140hadoop01NameNode,DataNode,JobHistoryServer192.168.121.141
JAVA序码·2023-11-15 04:10

Hadoop3.3.4分布式安装

注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名1.集群部署规划注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager
Appreciate(欣赏)·2023-11-15 04:39

hadoop 如何关闭集群 hadoop使用脚本关闭集群 hadoop(八)

1.hadoop22,hadoop23,hadoop24三台机器2.namenode所在hadoop22关闭hdfs:#找到/etc/hadoop位置cd/opt/module/hadoop-3.3.4
不努力就种地~·2023-11-14 21:39

hive on spark调优学习笔记

1集群环境概述1.1集群配置概述：所用集群由5台节点构成，其中2台为master节点，用于部署HDFS的NameNode，Yarn的ResourceManager等角色，另外3台为worker节点，用于部署
一只友·2023-11-14 06:39

一、Hadoop3.1.3集群搭建

一、集群规划hadoop01(209.2)hadoop02(209.3)hadoop03(209.4)HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeManagerNameNode
Dream答案·2023-11-14 00:18

大数据

，ssh免密登录（2）修改配置文件：hadoop-env.sh，core-site.xml，hdfs-site.xml,mapre-site.xml（3）分发hadoop目录到各机器（4）hadoopnamenode-format
叫我小王·2023-11-13 21:06

linux 多个ip问题解决 系统设置了静态IP之后还会获取动态IP的问题解决

linux多个ip问题解决系统设置了静态IP之后还会获取动态IP的问题解决问题描述自己已经明明设置过静态ip但是重启之后还是会动态的获取一个ip，导致大数据集群中的namenode不知道连接不上datanode
潘小磊·2023-11-13 14:31

企业运维实战--k8s学习笔记9.k8s调度

企业运维实战--k8s学习笔记9.k8s调度（上）前言--调度器简介k8s调度NodeNamenodeSelector亲和节点亲和pod亲和Taints污点与容忍前言–调度器简介调度器通过kubernetes
Rabbitgo_hyl·2023-11-12 22:08
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他