Namenode

hadoop学习笔记——基础知识及安装

1.核心HDFS分布式文件系统主从结构，一个namenoe和多个datanode，分别对应独立的物理机器1)NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作。
紫豆包·2021-04-18 02:15

Hadoop RPC Client工作原理分析

的内部结构组成ClientId和CallIdClientConnection和ConnectionCall的组织关系ClientRPCCall的处理流程相关链接前言对于Hadoop内的RPC处理（比如NameNode
Android路上的人·2021-04-17 11:44

Hadoop Namenode双缓冲写原理(demo)

介绍最近在学习hadoop的源码，参考了两个大佬的文章和部分hadoop(2.7.2)源码，打算记录下自己对namenode双缓冲原理的理解。非原创！
_Kantin·2021-04-17 11:55

Hadoop HDFS 读写流程 | 图文详解

组成架构|文件块大小二、HDFS常用Shell命令|图文详解三、HDFS搭建客户端API环境|图文详解|提供依赖下载连接四、HDFSAPI操作图文详解及参数解读五、HDFS读写流程|图文详解六、HDFS|NameNode
lesileqin·2021-04-14 16:17

大数据相关

介绍1.HDFS1.1应用场景1.2HDFS架构1.3HDFS的容错机制/高可用(zookeeper)1.4HDFS文件副本机制1.5HDFS文件读写过程1.6FsImage和Edits、SecondNamenode1.7NameNode
weixin_41675900·2021-04-09 14:54

linux常用命令及使用场景

统计集群中的表的大小在hive里边建的表都存放在集群的（/user/hive/warehouse）hadoopfs-du/user/hive/warehouse/test2.动态查看日志tail-1000fnamenode.log3
·2021-04-09 10:24

Hadoop HDFS API 操作图文详解及参数解读

组成架构|文件块大小二、HDFS常用Shell命令|图文详解三、HDFS搭建客户端API环境|图文详解|提供依赖下载连接四、HDFSAPI操作图文详解及参数解读五、HDFS读写流程|图文详解六、HDFS|NameNode
lesileqin·2021-04-08 15:30

Hadoop HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接

组成架构|文件块大小二、HDFS常用Shell命令|图文详解三、HDFS搭建客户端API环境|图文详解|提供依赖下载连接四、HDFSAPI操作图文详解及参数解读五、HDFS读写流程|图文详解六、HDFS|NameNode
lesileqin·2021-04-07 15:06

Hadoop HDFS 常用Shell命令 | 图文详解

组成架构|文件块大小二、HDFS常用Shell命令|图文详解三、HDFS搭建客户端API环境|图文详解|提供依赖下载连接四、HDFSAPI操作图文详解及参数解读五、HDFS读写流程|图文详解六、HDFS|NameNode
lesileqin·2021-04-05 17:24

Hadoop实例笔记详解（一）

Hadoop组成之Common&HDFS概述文章目录Hadoop实例笔记(一)：Hadoop组成之Common&HDFS概述前言一、Hadoop简述二、Hadoop的组成1.Common2.HDFS1，NameNode
moon650·2021-03-13 23:13

js中的动态集合-nodeList,HTMLCollection,nameNodeMap

动态集合是指dom结构的变化能够自动的反应到所保存的对象中nodeList:成员是节点对象1.他的实例对象是一个类数组对象，他的成员是节点对象，包括childNodes和querySelectorAll()方法的返回值。2.querySelectorAll()返回的是静态集合NodeStaticList3.nodeList并不是真正的数组对象，可以使用slice()方法将其变成真正的数组。HTML
skoll·2021-03-12 02:04

DOM

(二)DOM节点类型nodeNamenodeTypenodeValue文档节点#document9null元素节点标签名1null属性节点属性名2属性值文本节点#text3文本内容(三)常用DOM方法(
·2021-03-12 01:57

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生
·2021-03-12 01:59

数据库‖超万亿规模的Hadoop NameNode性能故障排查过程分享

而这次我所进行的超万亿规模的HadoopNameNode性能故障排查也是在我创业几年以来所遇到的集群规模最大，耗时最长，排查工作量最大，头发掉的最多，最终都不得不求助于大牛的一次经历。
·2021-03-12 01:58

完全分布式集群单点启动

完全分布式集群单点启动以下操作使用dev1账户操作（1）如果集群是第一次启动，需要格式化NameNode。
编程界翁老师·2021-03-10 17:43

Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制

HadoopHAHadoopMapReduce高级编程HadoopIOHadoopMapReduce工作原理Hadoop管理Hadoop集群安装HadoopRPC第一部分：当前HDFS架构详尽分析HDFS架构•NameNode
怒上王者·2021-03-09 10:47

Hadoop Web控制台添加身份验证

我们在安装完hadoop2.x版本之后，默认情况下，可以通过http://ip:50070/dfshealth.html访问hdfs页面，查看namenode和datanode状态，以及hdfs的相关文件等
xiaokebiubiubiu·2021-03-08 00:23

Hbase跨集群数据同步验证

环境信息集群主机名称IP地址HDFSHBASEzookeeperkerberosA集群demo1.xiaoke.com192.168.98.37namenodejournalnodedatanodehmsterregionserverzookeeperserverdemo2
xiaokebiubiubiu·2021-03-08 00:17

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生
·2021-02-25 11:24

hdfs高容错实现

hdfs高容错机制总结以上链接内容针对3种故障，分别对应多种措施节点失败若namenode真的故障，凉凉，在非高可用的版本下整个集群挂掉若datanode故障，可通过每3秒的向namenode发送的心跳信号来检测是否正常工作
·2021-02-24 02:20

大数据平台搭建 | Hadoop 集群搭建

Hadoop3.1.3下载地址2、Hadoop架构狭义上的hadoop主要包括三大组件分布式存储HDFS、分布式计算MapReduce、分布式资源管理和调度YARN2.1HDFS架构主要负责数据的存储NameNode
笨猪大难临头·2021-02-21 20:44

数据库‖超万亿规模的Hadoop NameNode性能故障排查过程分享

而这次我所进行的超万亿规模的HadoopNameNode性能故障排查也是在我创业几年以来所遇到的集群规模最大，耗时最长，排查工作量最大，头发掉的最多，最终都不得不求助于大牛的一次经历。
·2021-02-20 22:39

大数据组件介绍

数据处理速度，价值密度低）集群发展中，有两类比较常见的问题：水平瓶颈，单点故障1.平台侧HDFS解决存储yarn技术框架Zookeeper分布式协调,Kerberos&LDAP负责安全HDFS一、主从结构主节点NameNode
奔腾游子·2021-02-19 16:28

hdfs高容错实现

hdfs高容错机制总结以上链接内容针对3种故障，分别对应多种措施节点失败若namenode真的故障，凉凉，在非高可用的版本下整个集群挂掉若datanode故障，可通过每3秒的向namenode发送的心跳信号来检测是否正常工作
·2021-02-18 13:11

图说HDFS基本原理

整套漫画分为三篇，本文是第一篇，主要讲解了：1.系统构成：客户端，NAMENODE（主节点），DATANODE（数据节点）2.写数据原理image.pngimage.
__豆约翰__·2021-02-17 16:41

Hadoop - HDFS分布式存储、HA架构原理、YARN调度原理

Hadoop的组成HDFS管理者:namenode工作者:DataNode辅助管理者:secondaryNameNodeMapReduceYARN管理者:ResourceManage工作者:NodeManageHDFS
君子何为·2021-02-11 01:32

k3s系统之一：离线安装 K3S 安装

集群环境准备两台主机配置，内存3G，1核：node1:192.168.0.103修改主机名hostnamectlset-hostnamenode1node2:192.168.0.104修改主机名hostnamectlset-hostnamenode2
名不见Q传·2021-02-09 19:26

10亿+文件数压测，阿里云JindoFS轻松应对

简介：ApacheHadoopFileSystem(HDFS)是被广为使用的大数据存储方案，其核心元数据服务NameNode将全部元数据存放在内存中，因此所能承载的元数据规模受限于内存，单个实例所能支撑的文件个数大约
·2021-02-08 10:06

10亿+文件数压测，阿里云JindoFS轻松应对

简介：ApacheHadoopFileSystem(HDFS)是被广为使用的大数据存储方案，其核心元数据服务NameNode将全部元数据存放在内存中，因此所能承载的元数据规模受限于内存，单个实例所能支撑的文件个数大约
阿里云云栖号·2021-02-08 10:10

10亿+文件数压测，阿里云JindoFS轻松应对

简介：ApacheHadoopFileSystem(HDFS)是被广为使用的大数据存储方案，其核心元数据服务NameNode将全部元数据存放在内存中，因此所能承载的元数据规模受限于内存，单个实例所能支撑的文件个数大约
·2021-02-08 10:17

HDFS

以后的版本移除了原有的JobTracker和TaskTracker，改由YarnResourceManager负责集群中所有资源的统一管理和分配，NodeManager管理单个计算结点系统架构imageActiveNameNode
SteveJohnson·2021-02-06 12:55

Hadoop的HA安装与配置（Zookeeper）

bigdata112）192.168.157.113（bigdata113）192.168.157.114（bigdata114）Hadoop集群：192.168.157.112（bigdata112）NameNode1ResourceManager1Journalnode1192
大数据ZRL·2021-02-02 21:15

Namenode 高可用整体架构概述

普通版2.x组成及基本功能相较于普通版本高可用架构作出以下调整去掉了secondaryNamenode，并增加了一个新的namenode与状态(active和standby)增加了zookeeper与主备切换控制器
·2021-01-28 16:06

hdfs分布式文件系统

基本介绍组成Client分块后存储与namenode交互获取文件的位置信息与DataNode交互，读取或者写入数据Client提供一些命令来管理和访问HDFSNameNode:就是一个master，它是一个主管管理
·2021-01-28 16:14

Namenode 高可用整体架构概述

普通版2.x组成及基本功能相较于普通版本高可用架构作出以下调整去掉了secondaryNamenode，并增加了一个新的namenode与状态(active和standby)增加了zookeeper与主备切换控制器
·2021-01-28 15:02

hdfs分布式文件系统

基本介绍组成Client分块后存储与namenode交互获取文件的位置信息与DataNode交互，读取或者写入数据Client提供一些命令来管理和访问HDFSNameNode:就是一个master，它是一个主管管理
·2021-01-27 01:17

[hadoop]3.0.0版本以上mac hadoop环境配置安装，以及安装的一些坑解决

hadoop-env.sh文件2.3修改core-site.xml2.4配置文件系统hdfs-site.xml2.5配置计算框架mapred-site.xml2.6配置文件系统yarn-site.xml2.7Hadoopnamenode
pmdream·2021-01-26 14:37

【快速入门大数据】Hadoop3.x新特性

3.x必须在java8环境为前提Common改进shell被重写过时api方法可能被删除向下兼容老版本命令hdfs改进（ec代替副本机制50%提升空间利用率）删除编码方式支持两个以上的namenode（
瑞 新·2021-01-23 12:50

HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的监控（三） —— Grafana的Dashboard配置（以 Yarn 为例）

还有就是比如namenode挂掉就能报警等。二、举几个案例可用自行配置简单的配置左Y轴右Y轴的单位，rate()方法的使用等简单的操作自行百度其他文章，这些分享一些骚操作。1、怎么显示RM的状态（
FishMAN_已存在·2021-01-22 18:35

Hadoop源码分析-Namenode 元数据管理源码分析

[TOC]Namenode元数据管理源码分析本文讲解Namenode元数据管理源码分析，内容包括HDFS目录树管理HDFS元数据双缓存方案深度剖析HDFS元数据写JournalNode流程分析StandbyNameNodeCheckpoint
晨磊的微博·2021-01-21 19:05

搭建伪分布式集群笔记（3）

搭建Hadoop分布式集群步骤:1.配置时间同步服务2.设置环境变量3.格式化NameNode4.启动关闭集群5.关闭防火墙，做映射6.脚本，启动集群7.hadoop配置文件一些解释1.配置时间同步服务
_52394320·2021-01-20 17:41

一次HDFS JournalNode transaction lag问题分析排查

文章目录前言背景问题追踪排查分析排查一：JN服务本身问题排查二：NN服务问题排查三：JN机器硬件层面问题推论四：JN受所在机器其它服务的影响总结前言众所周知，在HDFS集群中，NameNode服务是其中的核心服务
Android路上的人·2021-01-17 16:36

ansible

base.repoechoexportEDITOR=vim>>/etc/profile.d/env.shsystemctlis-enabledvsftpdss-tln|grep80查看端口hostnamectlset-hostnamenode1geten
星云之水·2021-01-14 17:50

Hadoop SecondNameNode工作机制、常用命令与常用设置

1.SNN****（****secondNamenode****）1.1****secondNamenode****工作机制1606651196(1).jpg1.secondNamenode执行checkpoint
小李_同学·2021-01-12 16:53

HDFS架构师 2.2 - NameNode元数据双缓冲写入原理demo

（1）HDFS元数据管理、双缓冲17}0：55双缓冲写元数据的方法——》FSEditLog#logEdit（）▼▼packagecom.nx.hadoop.lesson02;importjava.util.LinkedList;/****HDFS：有个别地方源码写得不错的。Hadoop2.3.0*kafkaZookeeper**/publicclassFSEditLog{privatelongtx
fat32jin·2021-01-10 14:03

（二) K8S集群部署——node节点部署

192.168.0.2node1：192.168.0.4node2：192.168.0.14服务器配置均为：CentOS7.664位8核/16G/100G2.node1部署1.设置主机名hostnamectlset-hostnamenode1
可以养肥·2021-01-09 16:48

再次运行hadoop碰到的坑——重启时需要格式化

hadoop的时候:1、需要先关闭hadoopstop-all.sh2、清除hadoop/tmp下的文件（非必须步骤，该路径为core-site.xml文件中Hadoop.tmp.dir路径）3、随后格式化namenodehadoopnamenode-format4
yimengtianya1·2021-01-07 14:34

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

目录一、Hadoop1.1.概念1.2.HDFS1.2.1.Client1.2.2.NameNode1.2.3.SecondaryNameNode1.2.4.DataNode1.3.MapReduce1.3.1
Java_Yhua·2021-01-05 11:41

利用Zookeeper实现Hadoop HA

因为存在单点故障，HDFS上的NameNode，这就是一个单点故障，它只存在一个，如果NameNode挂了，或者我们需要对这
leafgood·2021-01-04 21:00

利用Zookeeper实现Hadoop HA

因为存在单点故障，HDFS上的NameNode，这就是一个单点故障，它只存在一个，如果NameNode挂了，或者我们需要对这
leafgood·2021-01-04 21:34
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他