Namenode

FSImage 和 EditsLog

一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。而随着存储文件的增多，NameNode上存储的信息也会越来越多。
yepeng05·2021-06-25 10:24

Hadoop - YARN

Hadoop2.x介绍-重点三.yarn的产生四.YARN各个组件的作用五.YARN的工作原理六.YARN的容错性及调度器七.关于yarn常用参数设置一.Hadoop1.x介绍Hadoop1.x文件系统核心模块：NameNode
smart_Xu·2021-06-23 07:26

HDFS - CheckPoint机制是怎么实现的

HDFS-什么是元数据我们提到了CheckPoint机制，主要就是合并多个edits文件，NameNode的压力已经很大了，所以合并的事情，并不是NameNode来做的，而是SecondaryNamenode
·2021-06-23 02:59

HDFS - CheckPoint机制是怎么实现的

HDFS-什么是元数据我们提到了CheckPoint机制，主要就是合并多个edits文件，NameNode的压力已经很大了，所以合并的事情，并不是NameNode来做的，而是SecondaryNamenode
·2021-06-23 02:55

大数据||HDFS启动时安全模式（safemode）

安全模式期间：nameNode启动成功后到收到99.99%的datanode块数据。
明明德撩码·2021-06-22 03:00

Hadoop进阶1

（2）分布式文件系统通过使用RPC（远程过程调用）来调用namenode，确定文件起始块的位置。（3）分布式文件系统的DistributedFile
neo_ng·2021-06-21 17:04

面试系列四 之 项目涉及技术Hadoop

1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号
·2021-06-21 00:24

基于kerberos的hadoop安全集群搭建

hadoop服务的安装分部为|机器host|组件情况||:--------|--------:||master|namenode、
·2021-06-20 14:50

基于kerberos的hadoop安全集群搭建

hadoop服务的安装分部为|机器host|组件情况||:--------|--------:||master|namenode、
·2021-06-20 14:13

HADOOP 启动时 HDFS格式化后启动dfs出现以下错误：

错误信息：2018-07-2700:48:23,616INFOnamenode.NNStorageRetentionManager:Goingtoretain1imageswithtxid>=02018
zwb_jianshu·2021-06-20 02:52

hadoop(十六)—zookerper

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对外提供服务，而StandbyNameN
文子轩·2021-06-20 01:08

hadoop的搭建笔记2-完全分布式搭建

分三步走：一、机器的规划屏幕快照2018-02-2713.56.08.pngdatanode和nodemanager每台机器都搭配一个作为数据存储，一个数据分析领导者：一号机分配namenode二号机resourcemanager
一花一叶异世界·2021-06-19 10:40

HDFS - 双缓冲机制如何保证对元数据的高并发请求

我们在HDFS-什么是元数据中提到了，元数据会存在与内存和磁盘中，内存为了提高响应速度，磁盘是为了持久化保证数据的安全，但是写磁盘的速度相对于内存是慢了几个数量级的，如果NameNode每次都要把数据落到磁盘上那是没办法处理那么多客户端的请求的
·2021-06-18 22:13

HDFS - NameNode如何感知到DataNode的

注册在HDFS-HDFS的四个角色提到了NameNode启动的时候，会开启RPC服务，叫做ServiceRpcServer，这个Server有很多个协议，其中一个叫做DatanodeProtocol协议
·2021-06-18 22:07

HDFS - 安全模式是什么

HDFS-NameNode的高可用提到了NameNode有active状态和standby状态，他还有另外一个状态，就是safemode，安全模式。
·2021-06-18 22:51

HDFS - HDFS的四个角色

在HDFS中，有这几种角色：NameNode：负责处理Client的请求、元数据管理等其他功能。DataNode：主要就是存储文件块的。Client：客户端，与NameNode、DataNode交互。
·2021-06-18 22:15

HDFS - NameNode的高可用

高可用我们已经知道了，读取文件、上传文件，都需要经过NameNode，如果NameNode宕机了，那客户端就不知道往哪里读写数据，整个集群就不可用了。
·2021-06-18 22:15

Hadoop的高可用（HA）

转载：adoopHA高可用解析以及脑裂问题Hadoop1.x：Hadoop的两大核心组件HDFS的NameNode和JobTracker都存在着单点问题。
小小少年Boy·2021-06-18 21:24

2021年 全网最细大数据学习笔记（六）：Hadoop 之 HDFS 进程详解

学前必备知识二、HDFS概述三、HDFS应用场景四、HDFS的架构五、HDFS的副本机制六、HDFS的安全模式七、HDFS的数据读写流程7.1HDFS写数据流程7.2HDFS读数据流程八、HDFS的回收站九、NameNode
Amo Xiang·2021-06-18 20:10

Hadoop

hadoopMR的任务为例讲一下YARN的整个过程实现一个MR，对1T数据全排序NameNode的高可用实现NameNode高可用中editlog同步过程SecondaryNameNode的作用是什么？
码农皮邱·2021-06-15 15:02

（二）hadoop脚本分析

1.脚本分析#启动所有hadoop守护进程sbin/start-all.sh--------------libexec/hadoop-config.shstart-dfs.sh#用于启动namenode
qianlong21st·2021-06-15 13:00

hadoop hdfs HA

hadoophdfs部署方案有两种，一种namenode+secondarynamenode,一种2.*后的HA,HA一般采用cloudera开发的QJM方案，已经合并到Apache分支。
july2993·2021-06-15 02:42

【小白视角】大数据基础实践(三)HDFS的简单基本操作

HDFS的简单基本操作1.实验环境2.HDFS2.1简介2.2体系结构2.2.1NameNode2.2.2SecondaryNameNode2.2.3DataNode2.2.4通讯协议2.2.5局限性3
小生凡一·2021-06-13 00:42

hadoop的完全分布模式配置

文件位置/soft/hadoop/etc/hadoop：fs.defaultFShdfs://s100:8020/dfs.replication2dfs.namenode.secondary.http-addresss103
第四风111·2021-06-12 09:41

Hadoop分布式环境搭建

这篇文章阐述下Hadoop分布式环境的搭建，Hadoop版本采用hadoop-2.6.0-cdh5.7.0，手头有三台机器，即hadoop000/hadoop001/hadoop002，我会把其中一台机器节点分配NameNode
Sx_Ren·2021-06-10 23:07

NameNode 中维护的元数据中都存储了哪些信息

NameNode管理文件系统的命名空间,它维护着文件系统树以及整棵树内所有的文件和目录.这些信息存储在两个文件中，一个是fsimage，一个是editlog。
ProudLin·2021-06-10 21:46

关于Linux上启动Hadoop之后jps中没有namenode和datanode问题

1、第一次R虚拟机之后，启动Hadoop，发现jps中没有namenode进程修改方法：在检查了各种配置之后，依然没有用，发现自己删除的东西node101:50070中依旧存在，于是打算kill9000
你的昵称在简书中已被使用·2021-06-10 02:11

【大数据学习】第十篇-DataNode工作机制

DataNode工作机制DataNode启动后，首先向NameNode节点注册信息成功后，开始定时执行数据校验和同步，将自身的数据块列表信息同步到nameNode的映射表上。
irving_yuan·2021-06-09 19:23

Hadoop集群搭建

1、准备工作准备6台虚拟机，内存1G虚拟机节点分配情况序号机器分配1Park01Zookeeper、NameNode(active)、ResourceManager(active)2Park02Zookeeper
御林君·2021-06-09 10:28

第二次课作业

Hadoop集群搭建及测试1.格式化namenode2.格式化zookeeper3.启动dfs4.启动yarn5.启动resourcemanager6.启动historyserver7.执行hadoopmapreducejob
zangalewa·2021-06-09 09:50

secondary namenode 的作用

53536bcc0cf2bb589c5e16d0.png535371590cf2bb589c5e2391.png主要作用是解决namenodeeditlog过大的问题，定时将namenode的editlog
姜和然·2021-06-06 19:03

启动hdfs，两个namenode节点都是Standby

作者时间刘权2016-08-30问题详情使用命令：start-dfs.sh启动集群后发现，两个节点都是Standby解决尝试将hdfs重启结果：不管用在网络上查找资料，说可以使用命令：结果：中断尝试hdfshaadmin-transitionToActive--forcemanualnn1但是，执行后出现下列警告就不敢继续尝试了，怕出问题：Youhavespecifiedtheforcemanua
雨中星辰0·2021-06-06 15:27

Hive | 环境部署

环境部署环境准备java环境主机名IP服务ubuntu01192.168.0.151mysqlubuntu02192.168.0.152zookeeper、namenode、resourcemanager
icebreakeros·2021-06-06 02:52

HDFS 操作

hadoop_hdfs_operations.htmlhttps://www.w3cschool.cn/hadoop/hadoop_command_reference.html您必须格式化配置的HDFS文件系统，打开namenode
做一只乐观的小猴子·2021-06-05 09:51

学习hadoop的一些疑问

答：Hadoop1.0Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce
烽火程序猿·2021-06-04 20:40

Hadoop基本组件说明

1.3缺点不支持低延迟数据访问无法高效的存储小文件：会占用NameNode大量内存来存储文件
巴中第一皇子·2021-06-03 15:41

2021年大数据Hadoop（十四）：HDFS的高可用机制

目录本系列历史文章前言HDFS的高可用机制HDFS高可用介绍组件介绍NameNode的主备切换实现高可用集群环境搭建本系列历史文章2021年大数据Hadoop（十三）：HDFS意想不到的其他功能2021
Lansonli·2021-05-27 23:24

图文详解HDFS的高可用和联邦到底是什么

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系解答HDFSHA是用来解决NameNode单点故障问题的，HDFS联邦是用来解决NameNode内存瓶颈问题的。
Shockang·2021-05-27 23:08

第六章 DataNode

6.1DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳；DataNode启动后向NameNode
琉璃百般枯·2021-05-26 22:27

第五章 NameNode和SecondaryNameNode

一旦NameNode节
琉璃百般枯·2021-05-25 23:08

第四章 HDFS的读写流程

4.1HDFS写数据流程4.1.1剖析文件写入4.1.2网络拓扑-节点距离计算在HDFS写数据的过程中，NameNode会选择离待上传数据最近距离的DataNode接收数据。
琉璃百般枯·2021-05-25 21:18

hadoop离线day03--Hadoop HDFS

NameNode与DataNode通信机制HDFSJavaAPI核心类HDFS辅助工具跨集群复制数据distcp（dis
Vics异地我就·2021-05-25 14:45

2021年大数据Hadoop（五）：Hadoop架构

目录Hadoop架构1.x的版本架构模型介绍2.x的版本架构模型介绍第一种：NameNode与ResourceManager单节点架构模型第二种：NameNode高可用与ResourceManager单节点架构模型第三种
Lansonli·2021-05-23 23:52

hadoop单机及完全分布式集群的安装

1.hadoop我Hadoop的安装目录为/usr/local/workspace/hadoop2.hdfs2.1单机模式单机模式即不使用分布式模式，无需启动namenode和datanode，自动使用
巴中第一皇子·2021-05-23 18:16

Hadoop相关笔记

HDFShadoopNameNode负责客户端请求的相应负责维护元数据文件的名称、副本数、Block存放的DataNode，接受DN的心跳包一个典型的架构是一个NN加上n个DN。
我叫了了·2021-05-21 06:07

HDFS源码解析(3)-lease recovery

处理leaserecovery，需要NameNode和DataNode这两端共同的努力。
AlstonWilliams·2021-05-19 07:44

hadoop学习遇到的错误1 namenode启动不了

namenode始终启动不起来。
honeyman·2021-05-18 21:42

HDFS扫盲

Namenodes在HDFS里，Namenode保存了整个文件系统信息，包括文件和文件夹的结构。其实和linux上的真的很像，HDFS也是把文件和文件夹表示为inode,每个inode有自己的所有
蓝眼软件·2021-05-17 14:34

Cloudera Manager 安装 CDH5.x 心得

(image-1c6abb-1513138023093)]这里写图片描述HDFS管理界面及NameNodeWebUI[图片上传失败...(image-82c66f-1513138023093)]这里
运维前线·2021-05-17 05:20

hadoop上搭建hive(远程模式+hive服务端、客户端)

环境hadoop2.7.1+ubuntu14.04hive2.0.1集群环境namenode节点：master(hive服务端)datanode节点：slave1,slave2（hive客户端）hive
玄月府的小妖在debug·2021-05-16 12:34
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他