E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
namenode双机热备
Hadoop完全分布模式安装
1准备工作1.1虚拟机规划版本:CentOSLinuxrelease7.6.1810VMware安装三台虚拟机192.168.159.133(linux-01.potato.com)
NameNode
DataNodeResourceManagerNodeManager192.168.159.128
Lugyedo
·
2023-08-27 12:48
Data
大数据
Hadoop
分布式安装
CentOS
VMware
非常详细HDFS读写流程+完美视觉的HDFS读写流程图
一、写数据流程:客户端(Client通过java虚拟机)向
NameNode
请求上传文件(内部过程:客户端通过对DistributedFileSystem对象调用create()函数来创建文件),参数:路径
陈的打怪升级之道
·
2023-08-27 10:20
Hadoop
hdfs
流程图
hadoop
Hadoop(四)HDFS 读写流程
将文件切割为默认大小的块(block)存放在不同的DataNode上; 上传文件和读取文件是HDFS重要的流程;HDFS的写文件流程图文解释: 1、Client连接HDFS,发送上传文件的请求; 2、
NameNode
车了个车子
·
2023-08-27 10:48
Hadoop
hadoop
hdfs
big
data
Hadoop:HDFS读写流程详解
目录1HDFS写数据流程2HDFS读数据流程HDFS写数据流程1)客户端通过分布式文件系统模块向
namenode
请求上传某个数据(2)
namenode
根据客户端请求,先查看该用户是否有权限上传数据,再查看客户端所请求的目录是否存在
小M姐姐呀~
·
2023-08-27 10:17
大数据
hadoop
big
data
hdfs
Hadoop笔记 HDFS读写流程
模块向
NameNode
请求上传文件(会给定一个路径),然后
NameNode
检查目标文件是否存在,以及父目录是否存在。(2)
NameNode
返回是否可以上传。
程序员的账号
·
2023-08-27 10:47
大数据
hadoop
01_IT 行业各种备份术语_名词解释
2.
双机热备
份假设你是一位女性,同时和两位男性在交往,两位都是你男朋友。并且他们还互不干涉,独立运行。这就是
双机热备
份。3.异地容灾备份假设你是一
JackXiang2019
·
2023-08-27 05:26
中间件
备份
HDFS NN与2NN
HDFS元数据管理机制问题1:
NameNode
如何管理和存储元数据?
森林森
·
2023-08-27 03:30
Hadoop
Oracle dataguard 和Oracle rac的区别和联系
RAC服务器共用一套存储,同时提供服务,没有主备之分.宕一个其它的可以继续服务.
双机热备
,共用一套存储,一个提供服务一个备份,主机宕了切换到备份服务器提供服务.dataguard完全两套系统,存储是单独的
SZleoWang
·
2023-08-27 02:55
oracle
数据库
keepalived + lvs (DR)
目录一、概念二、实验流程命令三、实验的目的四、实验步骤一、概念Keepalived和LVS(LinuxVirtualServer)可以结合使用来实现
双机热备
和负载均衡。
Mapinyi666
·
2023-08-26 23:27
lvs
【Hadoop】Hadoop入门概念简介
目录一、概述二、优点三、核心架构3.1、HDFS3.2、
NameNode
3.2、DataNode四、Hadoop发行版本4.1、ApacheHadoop4.2、CDP4.
开着拖拉机回家
·
2023-08-26 19:21
#
【====
HDFS&YARN
====】
hadoop
大数据
NameNode
DataNode
分布式文件系统
ROS2学习之一些常见指令备忘
ros2bagplayYOUR_BAG.db33.打开rvizros2runrviz2rviz2#或者直接输入rviz2rviz24.运行节点或launch文件ros2runYOUR_PACKAGE_
NAMENODE
_NAMEros2launchYOUR_PACKAGE_NAMEYO
Lusix1949
·
2023-08-26 11:02
ROS
学习
spark连接mysql创建hive表_Apache Spark整合Hive
安装hive前提是要先安装hadoop集群,并且hive只需要在
NameNode
节点集群中安装即可,可以不在DataNode节点的机器上安装。
weixin_39899226
·
2023-08-26 09:48
Spark整合hive的时候出错
所在的机器上找,而是去连接我的集群里的另外两台机器但是我的集群没有开所以下面就一直在retry猜测:出现这个错误的原因可能与core-site.xml和hdfs-site.xml有关,因为这里面配置了集群的
namenode
~提线木偶
·
2023-08-26 09:14
spark
hive
大数据
Linux之systemctl添加服务
文章目录配置文件nginx配置示例配置详解UnitServiceInstall
namenode
配置示例配置文件将服务添加到systemctl管理,需要添加自定义的service文件到/usr/lib/systemd
zincooo
·
2023-08-26 09:53
Linux
linux
网络
运维
Houdini 快捷键
跳转菜单q禁用w显示t渲染r显示Shift+L排列选择的节点F2re
namenode
j连接线13.
JACKLONGFX
·
2023-08-26 01:44
houdini
houdini
NameNode
处理线程配置(心跳并发)
NameNode
处理线程配置
NameNode
处理器是处理客户端和数据节点的请求的线程池。这些处理器负责处理诸如读取、写入、删除文件等客户端请求,同时也处理数据节点的心跳和块报告等信息。
月亮给我抄代码
·
2023-08-25 22:46
大数据
hadoop
namenode
小白带你学习linux的keepalived+lvs和keepalived
双机热备
(三十七)
backup的ARP参数(一致)全都安装一遍启动master和backup的keepalived与ipvsadm三、web节点配置1、调整ARP参数2、配置虚拟IP地址3、添加回环路由一、keepalived
双机热备
二
刘俊涛liu
·
2023-08-25 19:26
linux
学习
lvs
系统学习Linux-keepalived
目录keepalived
双机热备
keepalived+lvs(DR)1.实验环境先配置主调度器web节点配置keepalived
双机热备
web服务器安装nginx和keepalived配置好这些可以进行漂移了复制
李维佳1212
·
2023-08-25 19:56
linux
服务器
keepalived
复习之web服务器--apache
PS:Vim复制小技巧一、实验环境两台虚拟机(nodea,nodeb)配置ip搭建软件仓库关闭selinux[root@ftpDesktop]#hostnamectlset-host
namenode
a.westos.org
小何想吃火锅呀
·
2023-08-25 15:30
服务器
运维
【keepalived
双机热备
与 lvs(DR)】
目录一、概述1.简介2.原理3.作用二、安装1.配置文件2.配置项三、功能模块1.core2.vrrp3.check四、配置
双机热备
1.master2.backup五、验证1.ping验证2.服务验证六
和修吉
·
2023-08-25 15:51
#
linux小白后期
#
网络小白中期
lvs
服务器
运维
keepalived
双机热备
目录一、概述二、安装结构图和避免脑裂现象结构图三、操作流程四、网页验证一、概述Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即
Mapinyi666
·
2023-08-25 10:40
服务器
运维
keepalived
双机热备
一、概述Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了
欢愉的猫
·
2023-08-25 09:23
运维
centos7 rabbitmq集群搭建
10.0.11.5410.0.11.5610.0.11.57)分别安装相同版本的rabbitmq-server及erlang,2分别修改三台节点的/etc/hosts文件注意必须修改主机名hostnamectlset-host
namenode
1
祈心无尘
·
2023-08-25 08:45
笔记
技术
rabbitmq
报错 The number of live datanodes 1 has reached the minimum number 0
报错2023-08-2409:24:59,227ERRORorg.apache.hadoop.hdfs.server.
namenode
.Secondary
NameNode
:ExceptionindoCheckpointorg.apache.hadoop.ipc.RemoteException
gs80140
·
2023-08-25 07:51
hadoop
各种问题
hadoop
Keepalived
双机热备
目录前言一、实验拓扑二、配置web节点三、配置
双机热备
四、测试编辑总结前言Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。
黑影680
·
2023-08-25 03:51
git
Nginx高可用集群
例如“故障切换”、“
双机热备
”、“多机热备”等都属于高可用集群技术。
草莓田田圈~
·
2023-08-25 00:41
nginx
运维
keepalived
双机热备
,keepalived+lvs(DR)
目录keepalived
双机热备
一、概述原理二、安装1.yuminstall-ykeepalived2.配置文件(/etc/keepalived/keepalived.conf)配置项三
lsqaa
·
2023-08-24 22:49
运维
keepalived
双机热备
一,概述1,Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。2,原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,
mengjialiang2002
·
2023-08-24 21:49
运维
linux
服务器
hadoop3.0新特性
1、概要1.基于jdk1.8(最低版本要求)2.mr采用基于内存的计算,提升性能(快spark10倍)3.hdfs通过最近black块计算,加快数据获取速度(块大小:256M)4.支持多
NameNode
尚学先生
·
2023-08-24 18:25
(小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建
.通过拖拽的方式将文件从windows传到linux桌面5.安装hadoop6.修改hadoop环境变量7.修改配置文件core-site.xml8.修改配置文件hdfs-site.xml文件9.执行
NameNode
VaceMan
·
2023-08-24 06:08
大数据技术篇
hadoop
ubuntu
linux
hadoop 报错: Exception in doCheckpointjava.io.IOException: Inconsistent checkpoint fields
报错内容2023-08-2317:12:44,688ERRORorg.apache.hadoop.hdfs.server.
namenode
.Secondary
NameNode
:ExceptionindoCheckpointjava.io.IOException
gs80140
·
2023-08-23 22:23
hadoop
各种问题
hadoop
大数据
分布式
HDFS部分:8020端口,9000端口和50070端口号,50090,9083,2181,6379的区别
8020端口:在cd/opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置:dfs.
namenode
.rpc-address.mycluster.nn1node01
Mrshao_4308
·
2023-08-23 21:03
Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.ConnectException
可能到原因:1.没有执行hadoop
namenode
-format2./etc/hosts文件中有::1localhost6master,把这个注释掉
sidney
·
2023-08-23 15:45
修复HDFS JournalNode和
NameNode
硬盘损坏
HDFSJournalNode和
NameNode
是HDFS文件系统的关键组件。JournalNode负责记录
NameNode
的所有操作,
NameNode
负责管理HDFS文件系统中的所有数据。
linweidong
·
2023-08-23 04:11
hdfs
hadoop
大数据
namenode
启动报错
3A575476508%3A0%3ACID-46d57eba-3c5f-413b-bca6-565ab12fc364’totransactionID1446565732022-10-1205:39:15,781INFO
namenode
.Edi
不吃饭的猪
·
2023-08-22 09:56
namenode
hadoop
大数据
hdfs
java大数据之hadoop_ha
3)Hadoop2.0之前,在HDFS集群中
NameNode
存在单点故障(SPOF)。4)
NameNode
主要在以下两个方面影响HDFS集群
NameNode
机器发生意外,如宕
这一刻_776b
·
2023-08-21 08:02
HDFS读写底层源码
客户端首先调用DistributedFileSystem.open方法打开HDFS文件,底层会调用ClientProtocal.open方法,返回一个用于读取的HdfsDataInputStream对象2、从
NameNode
xiaoxiaodu201314
·
2023-08-20 21:40
大数据
Hadoop
hadoop
hdfs
hadoop配置文件详解系列(二)-hdfs-site.xml篇
属性名称属性值描述hadoop.hdfs.configuration.version1配置文件的版本dfs.
namenode
.rpc-address处理所有客户端请求的RPC地址,若在HA场景中,可能有多个
码说AI
·
2023-08-20 21:10
大数据
VIP
分布式技术
hdfs
HDFS, 配置项清单
1数据存储dfs.
namenode
.name.dirfsimage和edits存储目录DetermineswhereonthelocalfilesystemtheDFS
namenode
shouldstorethenametable
Lion...
·
2023-08-20 21:10
大数据
hdfs
hadoop
big
data
HDFS源码解析
HDFS的核心组件HDFS由三个核心组件组成:
NameNode
,DataNode和客户端。
NameNode
是HDFS的主节点,负责管理文件系统的命名空间和客户端的元数据。
Al leng
·
2023-08-20 21:39
hdfs
hadoop
大数据
Hdfs 客户端写过程 源码解析
首先会联系名字节点
NameNode
,通过ClientProtocol.create()进行r
午后的红茶meton
·
2023-08-20 21:39
Hadoop分析与理解
hadoop
hdfs
客户端写
HDFS相关源码剖析
DFSClient|
Namenode
|Datanode源码分析顺序图:DFSClient|-------ClientProtocol|-------DFSInputStream|-------LocatedBlocks
laughing1997
·
2023-08-20 21:38
大数据
hdfs
源码
HDFS源码-DataNode启动流程
相关类2、重点代码二、DN注册流程1、BPServiceActor的创建2、DataNode注册3、DataNode发送心跳4、DataNode确认ACTIVE状态的BPServiceActor5、执行
NameNode
尹忠政
·
2023-08-20 21:38
hadoop
hdfs
hadoop
big
data
阿龙学堂-hdfs存储数据倾斜
1、现象数据存储倾斜现象如下所示:2、解决办法配置如下参数到[hdfs-site.xml]中,然后重启
NameNode
和DataNode。
阿龙学堂
·
2023-08-20 21:08
大数据
hadoop
hdfs
hadoop
big
data
HDFS基本概念
HDFS是以块为基本的存储单位,块的大小为64MB,块是整个文件存储处理的逻辑单位-每个数据块都有三份,两个放在机架1,第三个放在机架二,防止硬件设备的故障导致数据块的损失-HDFS包含两类节点,分别为
NameNode
养猫的小新
·
2023-08-20 04:18
HDFS小文件优化方法
一、HDFS小文件弊端HDFS上每个文件都要在
namenode
上建立一个索引,这个索引大小约为150byte,这样的话当小文件比较多的时候就会产生很多的索引文件,一方面会大量占用
namenode
的内存空间
yui方木
·
2023-08-20 04:35
HDFS
hdfs
hadoop
大数据
hdfs小文件的处理方法
首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有10000000个小文件,每个文件占用一个block,则
namenode
大约需要2G空间。
kawhine
·
2023-08-20 04:35
hadoop
hdfs
HDFS小文件处理
一、HDFS中小文件会有什么影响(1)存储层面:1个文件块,占用
namenode
多大内存150字节,大量小文件占用
namenode
内存。128G能存储多少文件块?
万里长江横渡
·
2023-08-20 04:35
大数据
hdfs
hadoop
jvm
HDFS 小文件的解决思路
而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由
NameNode
节点维护,为了达到高效的访问,
NameNode
在启动的时候会将这些元数据全部加载到内存中。
xiaolin_xinji
·
2023-08-20 04:05
Hadoop
Hadoop知识点总结——HDFS小文件过多问题、解决方法
解决方法小文件过多的影响存储层面计算层面解决方法1、采用har归档方式2、采用CombineTextInputFormat3、开启JVM重用小文件过多的影响存储层面每个文件均按块存储,每个块的元数据存储在
NameNode
笑看风云路
·
2023-08-20 04:04
Hadoop
hadoop
hdfs
大数据
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他