Namenode

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。
HaveAGoodDay.·2023-12-21 17:52

HBase2.4.10 踩坑笔记

HBase2.4.10，伪分布式，使用自带的Zookeeper参考确保有Java环境确保有Hadoop环境，我的是Hadoop3.3.1[root@main~]#start-all.shStartingnamenodeson
inch-whf·2023-12-21 02:36

HDFS

、TB、PB级数据；百万规模以上的文件数量；10K+节点可构建在廉价机器上：通过多副本提高可靠性；提供了容错和恢复机制缺点：不适合低延迟数据访问（订单）：毫秒级；低延迟与高吞吐率不适合小文件存取：占用NameNode
PlayfulGerry·2023-12-20 17:13

【Hadoop精讲】HDFS详解

目录理论知识点角色功能元数据持久化安全模式SecondaryNameNode(SNN)副本放置策略HDFS写流程HDFS读流程HA高可用CPA原则Paxos算法HA解决方案HDFS-Fedration解决方案
话数Science·2023-12-20 05:42

【Hadoop】HDFS的体系架构

一个HDFS集群是由一个NameNode和一定数目的DataNodes组成。其中NameNode是一个中心服务器，负责文件系统的名字空间(namespace)管理以及客户端对文件的访问。
不怕娜·2023-12-19 11:29

大数据入门二（YARN部署）

1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[hadoop@hadoop002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1
倾白首·2023-12-19 10:04

伪集群配置

编辑core-site配置core-site配置hdfs-site将以下的文件配置进去启动一下hadoop产生tmp文件产生这个叫namenode的文件并格式化回到~目录再配置以下信息配置以下信息重启文件再重新格式化配置
kkoneone11·2023-12-19 09:42

【基础知识】大数据组件HDFS简述

HDFS是经典的Master和Slave架构，每一个HDFS集群包括一个NameNode和多个DataNode。NameNode管理所有文件的元数据信息，并且负责与客户端交互。
偏振万花筒·2023-12-18 22:06

Ubuntu-报错

模式相互切换后导致两种模式都不能访问互联网（1）具体错误：（2）错误原因：（3）解决方案：（4）问题解决：错误2：Exceptioninthread"main"org.apache.hadoop.hdfs.server.namenode.SafeModeException
春风LiuK·2023-12-18 06:23

【HDFS面试】HDFS面试题&答案

HDFSNameNode高可用如何实现?需要哪些角色?HDFS的文件结构?HDFS的默认副本数?为什么是这个数量?如果想修改副本数怎么修
话数Science·2023-12-18 06:22

【Hadoop面试】HDFS读写流程

HDFS架构HDFS是一个典型的主/备（Master/Slave）架构的分布式系统，由一个名字节点Namenode(Master)+多个数据节点Datanode(Slave)组成。
话数Science·2023-12-18 06:16

【云原生-k8s篇】管理容器的顶级 Kubernetes工具有哪些？

文章目录1.KubernetesMonitor2.Terraform3.Pipemon4.NameNode5.Inspect.sh6.Flow7.gzip8.gvfs结论在过去的一两年里，用于容器管理的
掂掂三生有幸·2023-12-18 02:28

Hadoop问题：启动hadoop时报namenode未初始化：java.io.IOException: NameNode is not formatted.

/start-all.shstartingnamenode,loggingto/home/ubuntu/hadoop-1.0.4/libexec/..
小_强·2023-12-18 00:09

ELK安装配置

实验环境所需软件见百度云盘linux-ELK二、环境准备1.分别在两个ELK节点上通过本地hosts文件配置域名解析节点1配置setenforce0systemctlstopfirewalldvim/etc/hostnamenode1hostnamenode1bashvim
叮咚网工·2023-12-17 10:58

HDFS介绍+Shell操作

看黑马网课记录第二章-wwww操]使用命令操作HDFS文件系统_哔哩哔哩_bilibiliHDFS1.什么是HDFShadoop三大组件之一，负责海量数据的分布式存储2.HDFS架构角色：主节点（领导）：NameNode
Y蓝田大海·2023-12-17 10:14

Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Prot

1报错hadoop中namenode报错Causedby:java.lang.IllegalStateException:com.google.protobuf.InvalidProtocolBufferException
不吃饭的猪·2023-12-17 05:34

hadoop学习大纲

Hadoop集群环境搭建Hadoop集群环境搭建HDFS图说HDFS基本原理hadoop的shell命令操作javaapi操作HDFSHDFS之namenode管理元数据机制MapReduce初识MapReduceintelij
piziyang12138·2023-12-17 00:12

k8s-1.23版本安装

一、主机初始化1、修改主机名hostnamectlset-hostnamemasterhostnamectlset-hostnamenode1hostnamectlset-hostnamenode2hostnamectlset-hostnamenode32
运维螺丝钉·2023-12-16 19:36

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

初识大数据应用，一文掌握大数据知识文集(1)

02、是客户端还是Namenode决定输入的分片？03、mapred.job.tracker命令的作用？04、请说下MR中MapTask的工作机制？05、Hive跟Hbase的区别？
普修罗双战士·2023-12-16 06:22

【Hadoop】Hadoop基础架构的变化

1.x版本架构2.x版本架构3.x版本架构参考1.x版本架构NameNode：，负责文件系统的名字空间(Namespace)管理以及客户端对文件的访问。NameNode负责文件元数据的管理和操作。
不怕娜·2023-12-15 19:13

【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令（hdfsnamenode-format)，这时主节点namenode的clusterID
不怕娜·2023-12-15 19:13

【Spark精讲】Spark存储原理

目录类比HDFS的存储架构Spark的存储架构存储级别RDD的持久化机制RDD缓存的过程Block淘汰和落盘类比HDFS的存储架构  HDFS集群有两类节点以管理节点-工作节点模式运行，即一个NameNode
话数Science·2023-12-15 07:29

【Hadoop】

组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助分布式文件系统HadoopYARN
想当运维的程序猿·2023-12-15 07:43

【Hadoop_05】NN、2NN以及DataNode的工作机制

1、NameNode和SecondaryNameNode1.1NN和2NN工作机制1.2Fsimage和Edits解析1.3CheckPoint时间设置2、DataNode2.1DataNode工作机制
温欣2030·2023-12-15 06:12

Kubernetes(K8S)部署安装+K8S操作资源（NameNode/Pod/Deployment/Service/lngress/挂载数据和配置文件/Secret）

K8S集群部署一、准备三台服务器通过命令为每一个服务器设置主机名hostnamectlset-hostnamek8s-masterhostnamectlset-hostnamek8s-node1hostnamectlset-hostnamek8s-node2free-m#查看分区，需要将SWap全部改成0#关闭swapswapoff-ased-ri's/.*swap.*'/#&/'/etc/fst
A尘埃·2023-12-14 20:12

docker安装node及使用

进入创建的容器`如有启发，可点赞收藏哟~`一、安装node查看可用版本dockersearchnode安装最新版本dockerinstallnode:latest二、创建node容器dockerrun-itd--namenode-testnode–namenode-test
失眠时间·2023-12-14 13:51

HBase Error : Can't get master address from ZooKeeper; znode data == null

tgetmasteraddressfromZooKeeper;znodedata==null 首先先检查进程是否都有启动，（JPS）Zookeeper一个  QuorumPeerMainHadoop两个  NameNode
isOllie·2023-12-14 12:33

HDFS Architecture 翻译和理解

NameNode采用master/slave机制，避免数据
不争_900c·2023-12-06 22:17

图说HDFS基本原理

整套漫画分为三篇，本文是第一篇，主要讲解了：1.系统构成：客户端，NAMENODE（主节点），DATANODE（数据节点）2.写数据原理image.pngimage.
数据萌新·2023-12-06 18:40

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。
A尚学堂Nancy老师·2023-12-06 15:56

hadoop伪分布模式搭建(详细步骤）

hadoop/software/路径下创建hadooptmp目录2.解压hadoop-3.3.0.tar.gz3.进入hadoop-3.3.0/etc/hadoop4.编辑hadoop运行是的环境5.配置NameNode
小-枝-丫·2023-12-06 02:23

gitlab-jenkins-shell-helm-chart-k8s自动化部署微服务

1.准备好编译环境的容器，所有容器的镜像制作在gemdale-dockerfile这个代码库里面，也可以直接拉取官方镜像部署dockerrun--namenode1420-patternx-v/data
l386913·2023-12-05 07:06

10-Hadoop组件开发技术

选项:AHadoopHA即集群中包含SecondaryNameNode作为备份节点存在。
阿伊同学·2023-12-05 06:01

Hadoop的介绍与安装

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式
憨憨小白·2023-12-05 06:30

【头歌实训】分布式文件系统 HDFS

文章目录第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明答案代码第2关：HDFS-JAVA接口之读取文件任务描述相关知识
撕得失败的标签·2023-12-04 15:08

HADOOP：：Fsimage和Edits解析

NameNode被格式化之后，将在/opt/modulehadoop-3.1.3/data/tmp/dfs/name/curent目录中产生如下文件fsimage_0000000000000000000fsimage
星星失眠️·2023-12-04 09:15

九、hdfs中Namenode元数据处理

1、元数据的由来在hdfs文件系统中，用户的每一次操作，都会对文件系统产生响应的影响，那么谁来记录这些影响呢？在hdfs文件系统中，edits文件记录了hdfs中的每一次操作，以及本次操作影响的文件其对应的block。但于此同时，会产生一个问题，那就是随着时间的推移，hdfs文件系统中的edits文件会越来越大，这是hdfs文件系统会将edits文件进行切分处理，以避免个别edits文件过大现象。
弦之森·2023-12-04 05:37

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode
蔡茂昌·2023-12-02 19:20

大数据之HBase（二）

Master详细架构位置：namenode实现类：HMaster组成负载均衡器：通过meta了解region的分配，通过zk了解rs的启动情况，5分钟调控一次分配平衡元数据表管理器：管理自己的预写日志，
十七✧ᐦ̤·2023-12-02 11:42

hadoop的几个接口

8088接口：MapReduce50070接口：HDFS19888接口：jobhistoryseverjob历史服务器端口9000：namenode50090：secondarynamenode
Stephen6Yang·2023-12-02 04:03

HDFS

简介NameNode负责响应客户端请求。负责管理元数据(文件名、副本数、Block存放的DN)。DataNode存储数据。向NN发送心跳，汇报本身及Block信息。默认block为128mb。
歌哥居士·2023-12-02 02:22

在Linux下配置Hadoop出现localhost: Error: JAVA_HOME is not set and could not be found.

Startingnamenodeson[]localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound.localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound
Summer_1981·2023-12-02 00:03

Java核心知识点整理大全25-笔记

目录25.Hadoop25.1.1.概念25.1.2.HDFS25.1.2.1.Client25.1.2.2.NameNode25.1.2.3.SecondaryNameNode25.1.2.4.DataNode25.1.3
希斯奎·2023-12-01 17:31

搭建部署Hadoop2.x和3.x的区别

常用的端口号NameNode(NN)端口：在Hadoop2.x中，NameN
撕得失败的标签·2023-12-01 12:54

HDFS基础知识(个人总结)

因为它有多个副本可处理大数据,文件数量可达百万缺点HDFS可以追加,但不能修改某一条数据,若实在想修改,只能下载下来原文件进行修改后重新上传覆盖不适合低延迟数据访问,如毫秒级无法高效存储大量小文件小文件导致数量太多,浪费了NameNode
hellosrc | forward·2023-11-30 20:41

HDFS概述

文章目录一、HDFS概述1.什么是HDFS2.HDFS基本架构3.搭建[HDFS]4.安装hadoop5.hadoop配置文件的配置etc/hadoop6.namenode的格式化7.启动hadoop守护进程
~chun·2023-11-30 20:11

HDFS详解

主节点为NameNode，从节点为DataNode。在内部
liuhanyuu·2023-11-30 20:09

大数据学习-离线数仓项目实战笔记（上）

Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2.软件安装分布情况服务器linux121linux122linux123Hadoop√namenode
ys4tnaf·2023-11-30 15:24

【HDFS】ActiveNamenodeResolver#getNamespaces 方法调用点梳理

获取所有的注册在router里的active状态的集群。/***Getalistofallnamespacesthatareregisteredandactiveinthe*federation.**@returnListofnamespacesinthefederation*@throwsIOExceptionThrowsexceptionifthenamespacelistisnot*avai
叹了口丶气·2023-11-30 14:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他