Namenode

解决Hadoop集群hdfs无法启动DataNode的问题

笔者出现此情况前曾使用hdfsnamenode-format格式化了hdfs如有三个hadoop集群，分别为hadoop102，hadoop103，hadoop104其问题情况如下可见三个机器均没有将DataNode
13roky·2022-03-25 19:00

从HDFS的写入和读取中，我发现了点东西

写入客户端向NameNode发出写文件请求，告诉需要写的文件名和路径、用户NameNode检查是否已存在文件、检查权限。如果通过，会返回一个输出流对象注意此时
华为云开发者社区·2022-03-25 11:00

Hadoop 运维工具箱之 HDFS 集群扩容

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
·2022-03-24 14:17

[ hadoop ] 集群性能调优全面总结

框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件问题给出了Hadoop综合调优.1HDFS调优1.1核心参数1.1.1NameNode
bone_ds·2022-03-19 22:34

big data 入门

Hadoop1.0Hadoop2.0HDFS2.0的新特性HDFSHAHDFSFederationYARN新一代资源调度管理框架（未完成）Hadoop生态系统中具有代表性的功能组件HDFS主节点(MasterNode)/名称节点(`NameNode
mo明奇妙·2022-03-18 18:36

(Spark系列一)Pycharm远程连接服务器并调试Spark程序

背景介绍之前使用Java远程对MapReduce编程时，只需要服务器配置好地址映射,本地建立Maven项目并导入相关配置项,同时建立好本地Hadoop环境就可以远程提交任务到NameNode了,但是Python
古哩怪之的大大·2022-03-18 05:57

hadoop概念和组成（hdfs、yarn、mapreduce）

分布式计算框架MapReduceHadoop生态圈1.Hive2.pig3.Mahout4.Hbase5.Zookeeper6.Sqoop7.Flume8.OozieHDFS概述1.设计思想2.架构解析2.1==namenode
栖之·2022-03-18 05:19

Kafka-消息系统

目录1、Kafka概念2、kafka架构3、Kafka消费模型4、实现Kafka的生产端5、实现Kafka的消费端6、Flume整合Kafka1、调整flume的配置文件，监控namenode的日志文件
糟糟张·2022-03-10 14:00

使用CentOs7（VirtualBox）搭建集群安装程序（jdk、hadoop、mysql、hive、hbase）

init0yum-yinstallnet-tools拷贝并修改静态IP、name、cpifcfg-enp0s3ifcfg-enp0s8添加网卡2（host-only）修改主机名hostnamectlset-hostnamenode1
Aying_seeya·2022-03-05 14:46

Hadoop 运维工具箱之 HDFS 集群扩容

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
·2022-03-04 14:15

HDFS成员的工作机制

NameNode工作机制nn负责管理块的元数据信息，元数据信息为fsimage和edits预写日志，通过edits预写日志来更新fsimage中的元数据信息，每次namenode启动时，都会将磁盘中的fsimage
MMarshall·2022-03-03 23:00

电商数据仓库的架构、模型与应用实践

技术选型2.2系统数据流程设计2.3框架版本选型2.4服务器选型2.5集群资源规划设计2）测试集群服务器规划服务名称子服务服务器hadoop102服务器hadoop103服务器hadoop104HDFSNameNode
孙行者Monkey·2022-02-28 15:56

centos7搭建hadoop完全分布式（详细过程）

192.168.149.161namenode/resourcemanager/secondarynamenode192.168.149.162datanode/nodemanager192.168.149.163datano
想拥有一片海·2022-02-28 11:43

centos 6.7 Hadoop 完全分布式

hadoop的安装一、明确规划1.安装版本2.7.7（官网自找）2.安装模式完全分布式安装3.集群规划三台虚拟机：内存1G两个主节点性能略高1.5G（8G运存分配方式，可自行调节）注：namenodesecondarynamenode
Doooooing·2022-02-28 10:25

基于CentOS 7安装hadoop伪分布式

伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。
Coder_yy·2022-02-28 10:25

手把手教你用Centos7安装完全分布式Hadoop3.2.1

parallelsdesktop虚拟机软件里下载了三个centos7系统的虚拟机，用来搭建hadoop完全分布式集群，具体信息如下：IP地址主机名操作系统角色10.211.55.15/24masterCentos7master（namenode1
liemozhu·2022-02-28 10:13

HDFS

简单的一致性模型1.6数据块存储方式2.hdfs的基本组成结构与访问过程450479979681767617.jpghdfs的基本文件访问过程：2.1首先，用户的应用程序通过hdfs的客户端程序将文件名发送至NameNode
d33911380280·2022-02-22 01:09

Docker-搭建HA版的Hadoop集群

HA：HighAvailable，高可用，在Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF：ASinglePointofFailure)。
君去不知何时归·2022-02-21 21:20

HDFS 用户手册

HDFS集群包含NameNode和DataNodes，NameNode管理文件系统元数据，DataNode
偷油考拉·2022-02-20 22:56

HDFS之namenode管理元数据机制

一、NameNode启动时如何维护元数据：1、概念介绍：Edits文件：NameNode在本地操作hdfs系统的文件都会保存在Edits日志文件中。
piziyang12138·2022-02-20 07:53

配置hadoop集群

1.修改namenode节点/etc/hosts文件127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6
JokerJin·2022-02-19 03:43

关闭指定端口,8081

关闭8081lsof-i:8081显示COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEnode57811guoliwang28uIPv40x1b57bd152311bccf0t0TCP
夏末秋刀鱼·2022-02-18 21:43

[老实李] HDFS笔记

2.HDFS的架构和数据存储原理HDFS的架构图.png上面这张图就是HDFS的架构图，这种架构主要由四个部分组成，HDFSClient,NameNode,Second
老实李·2022-02-17 15:38

xml文件matlab读取data车道参数

xDoc=xmlread('TSD-Lane-00051-GT.xml');%namenodeallListitems=xDoc.getElementsByTagName('data');lineType
向往文艺的工科男·2022-02-17 14:03

hadoop(13)--分布式集群搭建

HDFS分布式文件存储的集群，分布式文件存储要保持文件的一致性，这个是一个重点，那么怎么搭建才能保持一致性呢，这个问题前辈们已经给出了解决方案，总结为一张图image.png解释一下上图：1，两个NameNode
ROCK_杰哥·2022-02-17 09:17

HDFS源码解析系列一——HDFS通信协议

通信架构首先，看下hdfs的交互图：可以看到通信方面是有几个角色的：客户端（client)、NameNode、SecondaryNamenode、DataNode;其中SecondaryNamenode
为了生活，加油·2022-02-16 17:00

【大数据哔哔集20210122】面试官问我HDFS丢不丢数据？我啪就把这个文章甩到他脸上

HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的
王知无·2022-02-16 06:13

大数据平台Hadoop的分布式集群环境搭建

1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2
yoku酱·2022-02-15 02:49

hdfs参数配置详解

1、hdfs-site.xml参数配置–dfs.name.dir–NameNode元数据存放位置–默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name–dfs.block.size
程序媛啊·2022-02-14 18:24

hadoop源码学习之namenode启动

概述hdfs主要包括两类节点，namenode和datanode，所以hdfs的启动也就是这两类节点的启动.namenode管理者所有的datanode信息、数据块信息等，它是整个hdfs的核心，首先要启动
多彩海洋·2022-02-13 16:52

Python海量数据处理之_Hadoop（二）概念和原理

前篇介绍了Hadoop的安装，在安装过程中会产生一些疑问，比如NameNode是什么东西？本篇就以问题&解答的方式介绍Hadoop的相关概念及其原理。
xieyan0811·2022-02-12 20:09

无法正常启动Datanode问题的解决

解决这个问题首先要确认所有的Datanode和Namenode上的配置文件都正确配置了，包括hdfs-site.xml和core-site.xml。
ecce·2022-02-12 09:59

搭建Hadoop-HA + ZooKeeper + Yarn环境

前提：搭建Hadoop-HA+ZooKeeper环境node01node02node03node04NameNode01NameNode02NameNode03DataNode01DataNode02DataNode03JournalNode01JournalNode02JournalNode03ZooKeeper01ZooKeeper02ZooKeeper03ZooKeeperFailoverC
zwb_jianshu·2022-02-11 20:59

HDFS读写数据流

文件写入1.客户端通过对DistributedFileSystem对象调用create()函数来创建文件2.DistributedFileSystem对NameNode创建一个RPC调用，在文件系统的命名空间中创建文件名
Andone1cc·2022-02-11 08:22

5.HDFS之namenode管理元数据机制及一些问题

一、NameNode启动时如何维护元数据：1、概念介绍：Edits文件：NameNode在本地操作hdfs系统的文件都会保存在Edits日志文件中。
__元昊__·2022-02-10 12:21

Hive开发环境搭建

Hive1.1准备工作Hive官网：https://hive.apache.org/下载hive，如（apache-hive-2.3.3-bin.tar.gz）1.2开始安装步骤1.安装到hadoop的namenode
袭明·2022-02-10 01:07

读写hdfs

50070页面显示的会是你请求的副本数，说明50070页面只是反映了namenode记录的信息，不是真实的。image.png写：client端向namenode请求上传文件。namenode响
博瑜·2022-02-09 15:56

HDFS工作机制

HDFS工作机制两大角色：DataNode：负责管理用户的文件数据块NameNode：负责管理整个文件系统的元数据NameNode的工作机制职责：1）客户端请求的响应2）元数据的管理（查询，修改）元数据的存储
依天立业·2022-02-09 13:23

Ranger-Hdfs插件安装

Ranger-Hdfs插件ranger-0.6.0-hdfs-plugin安装到Hdfs的所有NameNode节点，其他的DataNode节点不需要安装。
木木与呆呆·2022-02-09 06:22

HDFS源码解析(4)-DataNode删除过期block

在这篇文章中，会介绍这个过程，其实很简单:就是DataNode进行blockreport，然后NameNode检查是否有corrupt或者invalidate的block，如果有，就给DataNode发送一个
AlstonWilliams·2022-02-09 00:44

kubernetes集群安装笔记

主机两台192.168.209.102node102192.168.209.103node103(master)设置hostname的方法#设置hostname的方法hostnamectlset-hostnamenode102
积微微微·2022-02-08 15:40

HDFS 2.0 的 HA 实现

HDFS2.0的HA实现HDFSHA架构实现ActiveNameNode和StandbyNameNode：两台NameNode形成互备，一台处于Active状态，为主NameNode，另外一台处于Standby
Shawn999·2022-02-05 21:53

数仓 用户认证 安全模式下启动Hadoop集群

文章目录修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn启动HistoryServer修改特定本地路径权限local$HADOOP_LOG_DIRhdfs:hadoopdrwxrwxr-xlocaldfs.namenode.name.dirhdfs
Alienware^·2022-02-05 12:54

HDFS文件损坏解决方法

再次启动时就一直处于安全模式，而且说损坏了20个块[hadoop@hadoop000hadoop]$hdfsfsck/Connectingtonamenodeviahttp://hadoop000:50070FSCKstartedbyhadoop
喵星人ZC·2022-02-05 06:43

HDFS(分布式文件系统)

一个HDFS集群是由一个NameNode和多个DataNode构成。NameNode(元数据节点)和D
GakkiLove·2022-02-04 23:58

Hadoop HDFS 数据读写操作

在读写操作中，需要和NameNode进行交互。NameNode提供这样的权限，客户端可以轻松的读写数据块儿从各自的数据节点中。在这篇博客中，我们会讨论HadoopHDFS中的读写操作。
Simple_Coder·2022-02-03 18:08

Linux入门之网络系统详解

目录网络信息修改主机名DNS域名解析网络相关命令防火墙加密算法不可逆加密算法对称加密算法非对称加密算法免密钥登陆日期与时间命令日期同步用户组权限管道和重定向进程网络信息修改主机名#hostnamenode01
·2021-12-19 13:19

【hadoop】完全分布式部署

集群配置：注意：NameNode和SecondaryNameNode不要安装在同一台服务器（2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）注意：ResourceManager也很消耗内存
鲸落……·2021-12-09 14:28

hadoop环境搭建(四)

完全分布式部署一、配置集群100101102HDFSnamenode、datanodedatanodeSecondarynamenode(2nn)、datanodeYARNnodemanagerresourcemanager
南浅（●＾o＾●）·2021-12-06 18:38

Hadoop完全分布式安装部署

我们本次主要完成搭建实际生产环境中比较常用的完全分布式模式，搭建完全分布式模式之前需要对集群部署进行提前规划，不要将过多的服务集中到一台节点上，我们将负责管理工作的namenode和ResourceManager
·2021-12-06 11:02
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他