E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
namenode
centos7 mysql集群搭建
mysql集群前置条件修改集群节点设备计算机名称hostnamectlset-host
namenode
1#以此类推node2,3实现集群节点之间的ssh互信功能functionssh_trust(){result
祈心无尘
·
2023-09-20 15:59
笔记
mysql
ssh
运维
开源分布式存储系统(HDFS、Ceph)架构分析
文章目录中间控制节点架构-HDFS
NameNode
节点分析DataNode节点分析Second
NameNode
节点分析Client分析完全无中心架构-CephCephMonitor分析CephOSD分析
gengduc
·
2023-09-20 05:25
分布式存储Ceph
开源
分布式
hdfs
ceph
架构
[hive]搭建hive3.1.2hiveserver2高可用可hive metastore高可用
hiveonsparkhiveserver2webUI高可用集群启动脚本_薛定谔的猫不吃猫粮的博客-CSDN博客没用里头的hiveonspark,测试后发现版本冲突一、Hive集群规划(蓝色部分)ck1ck2ck3Secondary
NameNode
NameNode
DataNodeDataNod
胖胖学编程
·
2023-09-20 05:34
hive
hive
hadoop
数据仓库
Hadoop的HDFS高可用方案
一、Hadoop高可用简介Hadoop高可用(HighAvailability)分为HDFS高可用和YARN高可用,两者的实现基本类似,但HDFS
NameNode
对数据存储及其一致性的要求比YARNResourceManger
万里长江横渡
·
2023-09-19 20:55
hadoop
hdfs
大数据
Hadoop2.0 HDFS高可用架构
上图是一个典型的HA集群,
NameNode
会被配置在两台独立的机器上,在任何时间上,一个
NameNode
处于活动状态,而另一个
NameNode
处于备份状态,活动状态的
NameNode
会响应集群中所有的客户端
truezqx
·
2023-09-19 09:35
Hadoop
NameNode
执行命令工作流程
Hadoop
NameNode
执行命令工作流程客户端API或者CLI与
NameNode
的交互命令数据的格式(1)预处理流程(2)创建
NameNode
与
NameNode
PrcServer流程(3)HDFSAPI
lastembryoXX
·
2023-09-19 07:27
java
hadoop
macOS Big Sur系统基于docker部署Hadoop集群
macOSBigSur11.3.11.集群环境要求类别版本OScentos7jdkjdk1.8hadoopHadoop2.9.22.集群规划集群服务器名称IP集群规划linux001172.16.0.2
namenode
回笼觉觉猪
·
2023-09-19 05:48
Centos7服务器初始化
一.修改主机名修改所有三个主机名:静态、瞬态和灵活主机名:[root@localhost~]#hostnamectlset-host
namenode
001[root@localhost~]#hostnamectlset-hostname
攻城狮悠扬
·
2023-09-18 10:37
centos
服务器
运维
linux
MapReduce & YARN 的部署
1、部署说明HadoopHDFS分布式文件系统,我们会启动:
NameNode
进程作为管理节点DataNode进程作为工作节点Secondary
Namenode
作为辅助同理,HadoopYARN分布式资源调度
新征程,再出发
·
2023-09-18 03:30
大数据
mapreduce
大数据
yarn
hdfs
安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down
NameNode
at master及Hadoop
namenode
节点无法启动的问题解决
系统提示且
namenode
一直无法启动如果是这种情况就去看虚拟机的hostname的名称是否和虚拟机的vi/etc/hosts中的ip是否配的一致,如果没有的话,就修改下名称或者ip然后重启网络
namenode
zhaozuoyou
·
2023-09-17 22:46
mysql
大规模数据处理之架构图
①
NameNode
:维护文件元数据FsImage和操作日志EditLog。②Secondary
NameNode
:
NameNode
的备份的进程。
JerryTom
·
2023-09-17 20:19
mapReduce
HDFS的Shell操作
1.1.1、一键启动HDFS集群$HADOOP_HOME/sbin/start-dfs.sh,一键启动HDFS集群start-dfs.sh执行原理:在执行此脚本的机器上,启动Secondary
NameNode
新征程,再出发
·
2023-09-17 09:23
大数据
hdfs
hadoop
大数据
六、HADOOP-HA(zookeeper之后)
一、HDFS的HAHSFS传统集群只有一个
NameNode
,当此Manager宕机后,整个集群就宕机了,只有等管理员手动重启修复了
NameNode
之后,才会恢复。
一种依耐丶从未离开
·
2023-09-17 08:17
企业级数据仓库-数仓实战
1、设置每个虚拟机的hostnamevi/etc/sysconfig/network修改HOSTNAME=node02修改hostnamehostnamectlset-host
namenode
022、设置每个虚拟机的
beyond_champion
·
2023-09-17 03:06
数据仓库
数据仓库
数据库
hadoop
big
data
prometheus day06
nameprometheus_serverprom/prometheus:v2.37.02.部署nodeexporter:dockerrun-d--networkhost--restartalways--
namenode
-expor
港南四大炮亡
·
2023-09-17 00:01
prometheus
【问题解决】Hadoop集群启动后执行JPS没有DataNode或
NameNode
引言最近在尝试在搭建Hadoop集群并测试集群是否搭建成功,但是第一次格式化
NameNode
并启动HDFS和YARN时发现一会儿有DataNode或者
NameNode
但是后面就没有了,二者没有同时存在,
wydxry
·
2023-09-16 07:27
大数据
Hadoop
遇到的Bug
hadoop
hdfs
大数据
hadoop启动报错:Attempting to operate on hdfs
namenode
as root
/usr/bin/envbashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_
NAMENODE
_USER=rootHDFS_SECONDARY
NAMENODE
_USER
Agatha方艺璇
·
2023-09-16 02:44
大数据
Hadoop
hadoop
hdfs
大数据
来了来了,2023年某中大厂真实面经!
Hdfs小文件危害,元数据压垮
namenode
,怎么处理?5. 为什么开启map—join后会减小
王知无(import_bigdata)
·
2023-09-15 16:40
OushuDB 安装与升级之安装 HDFS
hawqssh-fhostfile-e'yuminstall-yhadoophadoop-hdfs'配置
NameNode
目录,需要配置的节点有两个,ou
北漂一号
·
2023-09-14 14:46
Linux安装Ansible管理工具
192.168.186.128ansible192.168.186.129node1192.168.186.130node2192.168.186.131node3#永久修改主机名hostnamectlset-hostnameansible&&bash#在ansible上操作hostnamectlset-host
namenode
1&
qq_14910065
·
2023-09-14 13:22
linux
linux
ansible
运维
大数据Hadoop高可用
HA高可靠集群hdfs中的HA搭建:三个
namenode
如何保证数据一致?
十七✧ᐦ̤
·
2023-09-13 15:43
大数据
hadoop
分布式
Hadoop源码阅读(一):
NameNode
启动
说明:1.Hadoop版本:3.1.32.阅读工具:IDEA2023.1.23.源码获取:Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入:下载源码之后得到hadoop-3.1.3-src.tar.gz压缩包,在当前目录打开PowerShell,使用tar-zxvf指令解压即可,然后使用IDEA打开hadoop-3.1.3-src文件夹
THE WHY
·
2023-09-13 14:35
大数据
hadoop
hadoop
大数据
分布式
Middleware ❀ Hadoop功能与使用详解(HDFS+YARN)
文章目录1、服务概述1.1HDFS1.1.1架构解析1.1.1.1Block数据块1.1.1.2
NameNode
名称节点1.1.1.3Secondary
NameNode
第二名称节点1.1.1.4DataNode
无糖可乐没有灵魂
·
2023-09-13 08:13
Middleware
hadoop
hdfs
大数据
yarn
mapreduce
把yum源配置为ftp服务
中默认的yum源文件2.2创建新的yum源文件2.3更新yum软件列表环境介绍:有node1和node2两台Centos7虚拟机环境准备:修改node1的主机名:hostnamectlset-host
namenode
1
pit_man
·
2023-09-13 00:18
云计算
Linux服务器配置与管理
ftp
yum
5. spark 参数问题
官网地址:spark参数在代码中设置参数spark-default.confdfs.
namenode
.rpc-address.hdfs-cluster.nn1xxx:9000目前大多数的集群都是8020
笔生花
·
2023-09-12 07:36
spark
spark
Hadoop之HDFS使用命令(常用)
本篇仅记载部分常用命令若无所需命令可查看官方网站ApacheHadoop3.3.6–Overview注:一切命令仅在启动HDFS集群后执行,否则会报错注:仅在hadoop用户下操作在Linux中超级用户是:root但HDFS的超级用户是:启动
namenode
⚝ ⚝
·
2023-09-11 13:07
Hadoop
hadoop
hdfs
大数据
黑猴子的家:HDFS写数据流程
1)客户端向
namenode
请求上传文件,
namenode
检查目标文件是否已存在,父目录是否存在。2)
namenode
返回是否可以上传。
黑猴子的家
·
2023-09-10 16:11
淘宝双11数据分析与预测--“坑点”汇总
淘宝双11数据分析与预测实验连接:点击这里问题一:安装Hadoop时报错报错内容:Starting
namenode
son[localhost]localhost:mkdir:无法创建目录"/usr/local
weixin_33671935
·
2023-09-09 21:16
java
开发工具
大数据
Hadoop分布式集群部署
在阿里云临时租了三台服务器,做hadoop部署使用.集群角色分工第1台:hadoop-master角色:
NameNode
;ResourceManagerAddr:172.26.73.102第2台:hadoop-slave1
陈超Terry的技术屋
·
2023-09-09 16:42
Initialization failed for Block pool
(Datanode Uuid unassigned)
文章目录一、原因二、解决:2.1思路:2.2步骤:一、原因是
namenode
和datanode的clusterID不一致导致datanode无法启动.二、解决:2.1思路:删除data、tmp、
namenode
东语~
·
2023-09-09 14:16
大数据
datanode
block
initialzation
hadoop3.3.4集群安装部署
文章参考地址:hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客启动的时候
namenode
没启动成功,原因是需要格式化找到路径:/home/servers/hadoop-3.3.4/bin
早退的程序员
·
2023-09-09 08:07
大数据
Hadoop集群搭建
Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群:HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群(分布式存储)主角色:
NameNode
藤藤菜丶
·
2023-09-09 05:45
Hadoop
总结分享学习
hadoop
大数据技术之Hadoop:Yarn集群部署(七)
3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS分布式文件系统,我们会启动:
NameNode
何苏三月
·
2023-09-09 04:19
大数据技术
大数据
hadoop
分布式
java
Secondary
NameNode
和DataNode的目录结构
Secondary
NameNode
目录结构Secondary
NameNode
的目录结构和
NameNode
的目录结构一样。为啥要这么设计呢?
名字想好没
·
2023-09-09 02:18
[译]HDFS的中心化缓存 (Centralized Cache Management in HDFS)
原文概览HDFS上的中心化缓存是一个显式的缓存机制,使得用户可以指定哪个路径被缓存.
Namenode
和拥有指定文件块的DataNode们通讯,并命令他们将文件块缓存到堆外缓存中.HDFS的中心化缓存管理有如下的明显优势
cfcodefans
·
2023-09-08 20:30
hadoop完全分布式+zookeeper集群+
NameNode
HA+ yarn HA
hadoop完全分布式+zookeeper集群+
NameNode
HA+yarnHA1、centos7基础环境系统IP主机名用户名密码centos710.1.1.101masterrootpasswordcentos710.1.1.102slave1rootpasswordcentos710.1.1.103slave2rootpassword
@天道酬勤@
·
2023-09-08 17:33
hadoop
hadoop
mapreduce
zookeeper
大数据
HDFS 的元数据辅助管理-Secondary
NameNode
HDFS的元数据辅助管理当Hadoop的集群当中,
NameNode
的所有元数据信息都保存在了FsImage与Eidts文件当中,这两个文件就记录了所有的数据的元数据信息,元数据信息的保存目录配置在了hdfs-site.xml
你值得拥有更好的12138
·
2023-09-08 14:29
Secondary
Namenode
工作机制
NameNode
的作用:主要用来保存HDFS的元数据信息,比如命名空间信息、块信息等。为什么会产生Secondary
Namenode
?
d84851fe3c42
·
2023-09-08 13:14
一百七十三、Flume——Flume写入HDFS后的诸多小文件问题
一、目的在用Flume采集Kafka中的数据写入HDFS后,发现写入HDFS的不是每天一个文件,而是一个文件夹,里面有很多小文件,浪费
namenode
的宝贵资源二、Flume的配置文件优化(参考了其他博文
天地风雷水火山泽
·
2023-09-08 12:14
Flume
flume
hdfs
大数据
大数据技术之Hadoop:HDFS存储原理篇(五)
目录一、原理介绍1.1Block块1.2副本机制二、fsck命令2.1设置默认副本数量2.2临时设置文件副本大小2.3fsck命令检查文件的副本数2.4block块大小的配置三、
NameNode
元数据3.1
NameNode
何苏三月
·
2023-09-08 06:39
大数据技术
大数据
hadoop
hdfs
java
hdfs滚动升级(rollingUpgrade )
滚动升级允许datanode、
namenode
等组件各自独立的升级,且不用停
Interest1_wyt
·
2023-09-08 05:09
hdfs
hadoop
大数据
namenode
-HA
Namenode
在HDFS中是一个非常重要的组件,相当于hadoop集群系统的心脏,在显示分布式集群环境中,还是会有可能出现
Namenode
的崩溃或各种意外。所以,高可用模式就体现出作用了。
MOOJ
·
2023-09-08 00:29
启动hadoop并测试问题合集
/hdfs
namenode
-format(显示这个就为成功,很长的,慢慢找)==========以上为前提,然后开始遇见问题===========问题1:输入jps的时候说找不到?
Aure_xl
·
2023-09-07 13:45
存档处
hadoop
java
Hadoop 集中式的缓存管理demo
特点:由
namenode
管理。那么HDFSclien
orisonchan
·
2023-09-07 09:52
大数据面试题
NameNode
:在hadoop的主服务器,在内存中保存整个文件系统的名称空间和文件数据块的地址映射.整个HDFS可存储的文件数量受限于
NameNode
的内存大小.
NameNode
负责文件元数据的操作.
牛壹壹
·
2023-09-07 07:13
大数据
java
开发语言
Hadoop的分布式文件存储系统HDFS组件的使用
Hadoop的第一个核心组件:HDFS(分布式文件存储系统)一、HDFS的组成1、
NameNode
2、DataNode3、Secondary
NameNode
4、客户端:命令行/JavaAPI二、HDFS
Augenstern K
·
2023-09-07 06:56
Hadoop
hadoop
分布式
hdfs
HDFS完全分布式集群搭建与配置
hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslaves同步配置环境变量启动集群hdfs常用命令测试注意事项介绍HDFS的组成架构架构介绍:1>
NameNode
stupid_gentleman
·
2023-09-07 00:53
hdfs
hadoop
分布式
HDFS集群节点
HDFS集群有两类节点,并以管理者-工作者模式运行,即一个
NameNode
(管理者)和多个DataNode(工作者)。
橘子疼
·
2023-09-07 00:52
笔记
HADOOP之HDFS集群配置
下载解压后的文件夹上传到主节点解压下载的Hadoop压缩包tar-zxvfhadoop-2.7.6.tar.gz解压后得到两个文件在当前(主节点)上建立一个hadoop文件夹,在hadoop文件夹下建立
NameNode
30+11
·
2023-09-07 00:52
hadoop
hdfs
大数据
HDFS 集群启动 管理界面缺少 DataNode 节点的解决方法
HDFS集群搭建并启动成功,1个
NameNode
节点和2个DataNode节点也运行正常,可以在各自的虚拟机中用jps命令查看正在运行的Java进程,但是通过http://master:50070/dfshealth.html
da2869237372
·
2023-09-07 00:51
Hadoop
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他