E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
namenode双机热备
Windows上安装Hadoop 3.x
Hadoop1.1下载Hadoop1.2下载winutils2.配置Hadoop1.hadoop-env.cmd2.创建数据目录3.core-site.xml4.hdfs-site.xml3.启动测试3.1
namenode
相国
·
2023-08-29 10:26
分布式
hadoop
大数据
Windows平台
Hadoop服务脚本
/bin/bashprocess=("
NameNode
""Secondary
NameNode
""DataNode""NodeManager""ResourceManager")JAVA_HOME="/opt
程序员 Harry
·
2023-08-29 07:26
Hadoop
hadoop
LNMT动静分离+keepalived
目录前言一、实验拓扑二、配置tomcat三、nfs配置四、配置NGINX五、配置NGINX的
双机热备
六、验证
双机热备
前言LNMT动静分离是指在LNMT架构中使用动静分离技术,将动态请求和静态请求分开处理和分发
黑影680
·
2023-08-29 04:54
linux
运维
服务器
0201hdfs集群部署-hadoop-大数据学习
文章目录1前言2集群规划3hadoop安装包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIfor
NameNode
address
gaog2zh
·
2023-08-28 06:31
#
Hadoop
大数据
hadoop
hdfs
一文搞定Nginx的压缩、黑白名单、防盗链、零拷贝、跨域、
双机热备
等知识
点击上方“Java基基”,选择“设为星标”做积极的人,而不是积极废人!每天14:00更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中间件T
Java基基
·
2023-08-28 02:22
nginx
运维
服务器
MongoDB
双机热备
那篇文章是 “毒”
加群请加微信号liuaustin3(共1200人左右1+2+3)新人会进入3群如果没有法律,我可能真想做了这个事情,群里最近有人问MongoDB
双机热备
,我非常愤怒的告诉他们,不可以
Austindatabases
·
2023-08-28 02:50
mongodb
数据库
大数据日常运维命令
1、HDFS
NameNode
/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.shstart
namenode
/usr/local/fqlhadoop/hadoop
bigdata-余建新
·
2023-08-27 19:20
Hadoop
大数据
运维
二. hadoop环境搭建
在hadoop-bin目录下hdfs
namenode
-format启动HDFSsbin/start-dfs.sh验证是否启动成功jpsjpsDataNodeSecondary
NameNode
NameNode
yanghx
·
2023-08-27 18:39
最污技术解读,读完之后竟然秒懂了。
这就是
双机热备
份。假设你是个妹子,不安于男朋友给你的安全感。在遥远的男友未知的地方,和一位男生保持着联系,你告诉他你没有男朋友,你现在处于纠结期,一旦你和你男朋友分开了
乌云龙
·
2023-08-27 15:29
linux————Keepalived—web
双机热备
一、概述Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证
丗卅
·
2023-08-27 14:31
服务器
运维
Hadoop完全分布模式安装
1准备工作1.1虚拟机规划版本:CentOSLinuxrelease7.6.1810VMware安装三台虚拟机192.168.159.133(linux-01.potato.com)
NameNode
DataNodeResourceManagerNodeManager192.168.159.128
Lugyedo
·
2023-08-27 12:48
Data
大数据
Hadoop
分布式安装
CentOS
VMware
非常详细HDFS读写流程+完美视觉的HDFS读写流程图
一、写数据流程:客户端(Client通过java虚拟机)向
NameNode
请求上传文件(内部过程:客户端通过对DistributedFileSystem对象调用create()函数来创建文件),参数:路径
陈的打怪升级之道
·
2023-08-27 10:20
Hadoop
hdfs
流程图
hadoop
Hadoop(四)HDFS 读写流程
将文件切割为默认大小的块(block)存放在不同的DataNode上; 上传文件和读取文件是HDFS重要的流程;HDFS的写文件流程图文解释: 1、Client连接HDFS,发送上传文件的请求; 2、
NameNode
车了个车子
·
2023-08-27 10:48
Hadoop
hadoop
hdfs
big
data
Hadoop:HDFS读写流程详解
目录1HDFS写数据流程2HDFS读数据流程HDFS写数据流程1)客户端通过分布式文件系统模块向
namenode
请求上传某个数据(2)
namenode
根据客户端请求,先查看该用户是否有权限上传数据,再查看客户端所请求的目录是否存在
小M姐姐呀~
·
2023-08-27 10:17
大数据
hadoop
big
data
hdfs
Hadoop笔记 HDFS读写流程
模块向
NameNode
请求上传文件(会给定一个路径),然后
NameNode
检查目标文件是否存在,以及父目录是否存在。(2)
NameNode
返回是否可以上传。
程序员的账号
·
2023-08-27 10:47
大数据
hadoop
01_IT 行业各种备份术语_名词解释
2.
双机热备
份假设你是一位女性,同时和两位男性在交往,两位都是你男朋友。并且他们还互不干涉,独立运行。这就是
双机热备
份。3.异地容灾备份假设你是一
JackXiang2019
·
2023-08-27 05:26
中间件
备份
HDFS NN与2NN
HDFS元数据管理机制问题1:
NameNode
如何管理和存储元数据?
森林森
·
2023-08-27 03:30
Hadoop
Oracle dataguard 和Oracle rac的区别和联系
RAC服务器共用一套存储,同时提供服务,没有主备之分.宕一个其它的可以继续服务.
双机热备
,共用一套存储,一个提供服务一个备份,主机宕了切换到备份服务器提供服务.dataguard完全两套系统,存储是单独的
SZleoWang
·
2023-08-27 02:55
oracle
数据库
keepalived + lvs (DR)
目录一、概念二、实验流程命令三、实验的目的四、实验步骤一、概念Keepalived和LVS(LinuxVirtualServer)可以结合使用来实现
双机热备
和负载均衡。
Mapinyi666
·
2023-08-26 23:27
lvs
【Hadoop】Hadoop入门概念简介
目录一、概述二、优点三、核心架构3.1、HDFS3.2、
NameNode
3.2、DataNode四、Hadoop发行版本4.1、ApacheHadoop4.2、CDP4.
开着拖拉机回家
·
2023-08-26 19:21
#
【====
HDFS&YARN
====】
hadoop
大数据
NameNode
DataNode
分布式文件系统
ROS2学习之一些常见指令备忘
ros2bagplayYOUR_BAG.db33.打开rvizros2runrviz2rviz2#或者直接输入rviz2rviz24.运行节点或launch文件ros2runYOUR_PACKAGE_
NAMENODE
_NAMEros2launchYOUR_PACKAGE_NAMEYO
Lusix1949
·
2023-08-26 11:02
ROS
学习
spark连接mysql创建hive表_Apache Spark整合Hive
安装hive前提是要先安装hadoop集群,并且hive只需要在
NameNode
节点集群中安装即可,可以不在DataNode节点的机器上安装。
weixin_39899226
·
2023-08-26 09:48
Spark整合hive的时候出错
所在的机器上找,而是去连接我的集群里的另外两台机器但是我的集群没有开所以下面就一直在retry猜测:出现这个错误的原因可能与core-site.xml和hdfs-site.xml有关,因为这里面配置了集群的
namenode
~提线木偶
·
2023-08-26 09:14
spark
hive
大数据
Linux之systemctl添加服务
文章目录配置文件nginx配置示例配置详解UnitServiceInstall
namenode
配置示例配置文件将服务添加到systemctl管理,需要添加自定义的service文件到/usr/lib/systemd
zincooo
·
2023-08-26 09:53
Linux
linux
网络
运维
Houdini 快捷键
跳转菜单q禁用w显示t渲染r显示Shift+L排列选择的节点F2re
namenode
j连接线13.
JACKLONGFX
·
2023-08-26 01:44
houdini
houdini
NameNode
处理线程配置(心跳并发)
NameNode
处理线程配置
NameNode
处理器是处理客户端和数据节点的请求的线程池。这些处理器负责处理诸如读取、写入、删除文件等客户端请求,同时也处理数据节点的心跳和块报告等信息。
月亮给我抄代码
·
2023-08-25 22:46
大数据
hadoop
namenode
小白带你学习linux的keepalived+lvs和keepalived
双机热备
(三十七)
backup的ARP参数(一致)全都安装一遍启动master和backup的keepalived与ipvsadm三、web节点配置1、调整ARP参数2、配置虚拟IP地址3、添加回环路由一、keepalived
双机热备
二
刘俊涛liu
·
2023-08-25 19:26
linux
学习
lvs
系统学习Linux-keepalived
目录keepalived
双机热备
keepalived+lvs(DR)1.实验环境先配置主调度器web节点配置keepalived
双机热备
web服务器安装nginx和keepalived配置好这些可以进行漂移了复制
李维佳1212
·
2023-08-25 19:56
linux
服务器
keepalived
复习之web服务器--apache
PS:Vim复制小技巧一、实验环境两台虚拟机(nodea,nodeb)配置ip搭建软件仓库关闭selinux[root@ftpDesktop]#hostnamectlset-host
namenode
a.westos.org
小何想吃火锅呀
·
2023-08-25 15:30
服务器
运维
【keepalived
双机热备
与 lvs(DR)】
目录一、概述1.简介2.原理3.作用二、安装1.配置文件2.配置项三、功能模块1.core2.vrrp3.check四、配置
双机热备
1.master2.backup五、验证1.ping验证2.服务验证六
和修吉
·
2023-08-25 15:51
#
linux小白后期
#
网络小白中期
lvs
服务器
运维
keepalived
双机热备
目录一、概述二、安装结构图和避免脑裂现象结构图三、操作流程四、网页验证一、概述Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即
Mapinyi666
·
2023-08-25 10:40
服务器
运维
keepalived
双机热备
一、概述Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了
欢愉的猫
·
2023-08-25 09:23
运维
centos7 rabbitmq集群搭建
10.0.11.5410.0.11.5610.0.11.57)分别安装相同版本的rabbitmq-server及erlang,2分别修改三台节点的/etc/hosts文件注意必须修改主机名hostnamectlset-host
namenode
1
祈心无尘
·
2023-08-25 08:45
笔记
技术
rabbitmq
报错 The number of live datanodes 1 has reached the minimum number 0
报错2023-08-2409:24:59,227ERRORorg.apache.hadoop.hdfs.server.
namenode
.Secondary
NameNode
:ExceptionindoCheckpointorg.apache.hadoop.ipc.RemoteException
gs80140
·
2023-08-25 07:51
hadoop
各种问题
hadoop
Keepalived
双机热备
目录前言一、实验拓扑二、配置web节点三、配置
双机热备
四、测试编辑总结前言Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。
黑影680
·
2023-08-25 03:51
git
Nginx高可用集群
例如“故障切换”、“
双机热备
”、“多机热备”等都属于高可用集群技术。
草莓田田圈~
·
2023-08-25 00:41
nginx
运维
keepalived
双机热备
,keepalived+lvs(DR)
目录keepalived
双机热备
一、概述原理二、安装1.yuminstall-ykeepalived2.配置文件(/etc/keepalived/keepalived.conf)配置项三
lsqaa
·
2023-08-24 22:49
运维
keepalived
双机热备
一,概述1,Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。2,原理在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,
mengjialiang2002
·
2023-08-24 21:49
运维
linux
服务器
hadoop3.0新特性
1、概要1.基于jdk1.8(最低版本要求)2.mr采用基于内存的计算,提升性能(快spark10倍)3.hdfs通过最近black块计算,加快数据获取速度(块大小:256M)4.支持多
NameNode
尚学先生
·
2023-08-24 18:25
(小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建
.通过拖拽的方式将文件从windows传到linux桌面5.安装hadoop6.修改hadoop环境变量7.修改配置文件core-site.xml8.修改配置文件hdfs-site.xml文件9.执行
NameNode
VaceMan
·
2023-08-24 06:08
大数据技术篇
hadoop
ubuntu
linux
hadoop 报错: Exception in doCheckpointjava.io.IOException: Inconsistent checkpoint fields
报错内容2023-08-2317:12:44,688ERRORorg.apache.hadoop.hdfs.server.
namenode
.Secondary
NameNode
:ExceptionindoCheckpointjava.io.IOException
gs80140
·
2023-08-23 22:23
hadoop
各种问题
hadoop
大数据
分布式
HDFS部分:8020端口,9000端口和50070端口号,50090,9083,2181,6379的区别
8020端口:在cd/opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置:dfs.
namenode
.rpc-address.mycluster.nn1node01
Mrshao_4308
·
2023-08-23 21:03
Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.ConnectException
可能到原因:1.没有执行hadoop
namenode
-format2./etc/hosts文件中有::1localhost6master,把这个注释掉
sidney
·
2023-08-23 15:45
修复HDFS JournalNode和
NameNode
硬盘损坏
HDFSJournalNode和
NameNode
是HDFS文件系统的关键组件。JournalNode负责记录
NameNode
的所有操作,
NameNode
负责管理HDFS文件系统中的所有数据。
linweidong
·
2023-08-23 04:11
hdfs
hadoop
大数据
namenode
启动报错
3A575476508%3A0%3ACID-46d57eba-3c5f-413b-bca6-565ab12fc364’totransactionID1446565732022-10-1205:39:15,781INFO
namenode
.Edi
不吃饭的猪
·
2023-08-22 09:56
namenode
hadoop
大数据
hdfs
java大数据之hadoop_ha
3)Hadoop2.0之前,在HDFS集群中
NameNode
存在单点故障(SPOF)。4)
NameNode
主要在以下两个方面影响HDFS集群
NameNode
机器发生意外,如宕
这一刻_776b
·
2023-08-21 08:02
HDFS读写底层源码
客户端首先调用DistributedFileSystem.open方法打开HDFS文件,底层会调用ClientProtocal.open方法,返回一个用于读取的HdfsDataInputStream对象2、从
NameNode
xiaoxiaodu201314
·
2023-08-20 21:40
大数据
Hadoop
hadoop
hdfs
hadoop配置文件详解系列(二)-hdfs-site.xml篇
属性名称属性值描述hadoop.hdfs.configuration.version1配置文件的版本dfs.
namenode
.rpc-address处理所有客户端请求的RPC地址,若在HA场景中,可能有多个
码说AI
·
2023-08-20 21:10
大数据
VIP
分布式技术
hdfs
HDFS, 配置项清单
1数据存储dfs.
namenode
.name.dirfsimage和edits存储目录DetermineswhereonthelocalfilesystemtheDFS
namenode
shouldstorethenametable
Lion...
·
2023-08-20 21:10
大数据
hdfs
hadoop
big
data
HDFS源码解析
HDFS的核心组件HDFS由三个核心组件组成:
NameNode
,DataNode和客户端。
NameNode
是HDFS的主节点,负责管理文件系统的命名空间和客户端的元数据。
Al leng
·
2023-08-20 21:39
hdfs
hadoop
大数据
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他