E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoopha
Python+大数据-hadoop(四)-Hadoop MapReduce、YARN、HA
HadoopMapReduce、YARN、HA今日课程学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握
HadoopHA
呆猛的呆呆小哥
·
2024-01-31 06:16
python+大数据
linux
大数据
hadoop
python
apache
2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA
学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握
HadoopHA
实现原理内容大纲
王络不稳定
·
2024-01-15 14:37
mapreduce
hadoop
yarn
大数据开发之HA
第1章:
HadoopHA
高可用1.1HA概述所谓HA(HighAvailablity),即高可用(7*24小时不间断服务)。实现高可用最关键的策略是消除单点故障。
Key-Key
·
2024-01-15 12:03
大数据
hadoop
(十八)大数据学习之HA
HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.
HadoopHA
1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle
·
2024-01-11 08:43
2023大数据应用开发赛题03套
目录任务A:大数据平台搭建(容器环境)(15分)子任务一:
HadoopHA
安装配置子任务二:Hive安装配置子任务三:Kafka安装配置任务B:离线数据处理(25分)子任务一:数据抽取子任务二:数据清洗子任务三
长风有续X
·
2023-12-21 17:52
大数据
大数据集群配置-HA(hadoop高可用)
hadoopHA
配置软件名称软件包名Zookeeperzookeeper-3.4.8.tar.gzhiveapache-hive-2.0.0-src.tar.gzjdkjdk-8u65-linux-x64
厨 神
·
2023-12-05 16:20
hadoop
zookeeper
大数据
big
data
hadoop
centos
大数据-hadoop HA
大数据-
hadoopHA
大数据-hadoopHAHACAP原则Paxos算法Federation实操大数据-hadoopHAHA主从集群:结构相对简单,主与从协作主:单点,数据一致好掌握问题:单点故障,
Ybb_studyRecord
·
2023-11-17 03:26
大数据
大数据
hadoop
hdfs
HA
Smart Community(1)之设计规范
通过前面大数据开发相关知识的学习,准备做一个项目进行练习---我给他起了一个响亮的名字:基于
HadoopHA
的智慧社区服务平台设计规范:做一个项目之前肯定要先规定一些开发过程中的设计规范(一)数据埋点规范
小唐同学爱学习
·
2023-09-17 02:53
bigdata
programe
设计规范
大数据实战项目(2)-数据采集、处理、分发流程所涉及到的框架及配置
对该实战项目的介绍及所使用的各种工具等可以查看这篇博客:大数据实战项目(1)-项目简介、开发技术、工具、架构等文章目录Linux环境准备常规设置项目配置ZooKeeper分布式集群部署
HadoopHA
架构与部署
xl132598798
·
2023-08-31 08:38
BIG_DATD
Linux
hadoop
kafka
hbase
flume
zookeeper
Hadoop HA模式切换
HadoopHA
模式下主从的切换(操作命令)YARNHA获取所有RM节点的状态yarnrmadmin-getAllServiceState获取rm1节点的状态yarnrmadmin-getServiceStaterm1
欲乘风,潇潇雨
·
2023-08-30 08:04
Hadoop
hadoop
大数据
分布式
HadoopHA
部署(1+x)
目录打开已创建好的centOS虚拟机配置网络测试网络(内网、外网都要测试)关机并克隆启动三台机器,并为克隆的两台机器修改相应名称和IP,以及检测内外网,修改完后重启(init6),使主机名生效重启后连接xshell(三台虚拟机都要连接)回到master1-1,下载lrzsz,传输文件(两种)配置环境变量ssh免密登录配置zookeeper配置Hadoop初始化(顺序不能乱)修改主机(Windows
清风--明月
·
2023-08-22 16:53
centos
linux
java
Hadoop HA集群两个NameNode都是standby或者主NameNode是standby,从NameNode是active的情况集锦
配置错误原因解决方案方案一方案二方案三(首先查看自己各参数文件是否配置出错)后记补充failovertransitionToActive常用端口号及配置文件常用端口号hadoop3.xhadoop2.x常用配置文件这里说一下配置
HadoopHA
想你依然心痛
·
2023-08-18 07:54
大数据
#
Spark大数据分析与实战
hadoop
大数据
分布式
【高可用Hadoop HA配置】
高可用
HadoopHA
配置实验名称:
HadoopHA
模式环境实验对象实验目的实验内容实验步骤实验名称:
HadoopHA
模式环境实验对象数据科学与大数据技术专业实验目的熟悉Hadoop的HA环境搭建,理解高可用模式实验内容完成
pblh123
·
2023-07-28 03:37
Hadoop
hadoop
大数据
hdfs
HBASE 高可用
为了保证HBASE是高可用的,所依赖的HDFS和zookeeper也要是高可用的.有关于
HadoopHA
高可用可参考:https://blog.csdn.net/weixin_44455125/article
荒-于嬉
·
2023-07-27 21:05
Linux
hbase
hadoop
big
data
Hadoop HA高可用部署
文章目录
HadoopHA
高可用安装主机基础环境配置安装JAVA环境安装zookeeper安装Hadoop开始修改配置开始启动页面访问测试可能存在的其他疑惑1.edits日志数量特别多2.高可用状态下主备切换有问题
荒-于嬉
·
2023-07-27 21:04
Linux
hadoop
hdfs
大数据技能大赛题目(高职组,模块A和B)
rootpasswd3slave2从节点rootpasswd补充说明:主节点MySQL数据库用户名/密码:root/Password123$相关软件安装包在/chinaskills目录下所有模块中应用命令必须采用绝对路径任务一:
HadoopHA
-starshine丨
·
2023-07-25 04:40
大数据技能大赛题目
大数据
爬虫
hadoop
hive
sqoop
基於ranger,kerberos,hadoop ha 配置hvie多用戶
基於ranger,kerberos,
hadoopha
配置hvie多用戶hive多用戶權限管理一、hive的管理員用戶二、hive配置普通用戶1.添加用戶2.配置kerberos2.1创建主体2.2生成keytab
m0_37759590
·
2023-06-23 06:13
kerberos配置大數據環境
ranger
hive
hadoop
ranger
hive
kerberos
基於Hadoop HA 在kerberos中配置datax
概要提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录概要前言一、基於
HADOOPHA
搭建datax二、基於
HADOOPHA
配置好的datax去配置kerberos1.在datax
m0_37759590
·
2023-06-23 06:40
kerberos配置大數據環境
hadoop
hdfs
大数据
kerberos
datax
hadoop基础(二)
mysqlmysql-connector-java5.1.47org.apache.hadoophadoop-common3.1.1org.apache.hadoophadoop-hdfs3.1.1org.apache.hadoophadoop-mapreduce-client-core3.1.1org.apache.
hadoopha
子非我104
·
2023-06-18 08:20
hadoop
java
大数据
Hbase的JavaAPI和数据存储
XMLorg.apache.zookeeperzookeeper3.4.6org.apache.hbasehbase-client2.2.5org.apache.hadoophadoop-client3.2.1org.apache.
hadoopha
_泡泡
·
2023-06-12 19:00
【大数据】Hadoop高可用集群搭建
知识目录一、写在前面二、Zookeeper安装✨三、Hadoop配置✨四、
HadoopHA
自动模式✨五、HA脚本分享✨七、结语一、写在前面大家好!
初心%
·
2023-06-11 09:30
大数据
hadoop
大数据
hdfs
Hadoop学习---11、HA高可用
1、
HadoopHA
高可用1.1HA概述1、所谓HA(HighAvailablity),即高可用(7*24小时不中断服务)。2、实现高可用最关键的策略是消除单点故障。
星光下的赶路人star
·
2023-06-08 20:52
Hadoop学习
hadoop
学习
大数据
Hadoop运维
1.1
HadoopHA
的namenode状态切换模拟线上环境测试,namenode进程down掉一个后,active和standby状态名称节点切换正常。
Mr_Qifei
·
2023-04-14 18:01
Hadoop高可用(Hadoop2.x)
高可用(Hadoop2.x)1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题3.3Yarn的单点故障4.Hadoop的高可用5.
HadoopHA
m0_67402341
·
2023-04-14 02:40
java
hadoop
大数据
hdfs
搜索引擎
spring
hadoop HA架构思想总结
HadoopHA
架构思想总结架构图在这里插入图片描述!
titi223
·
2023-04-09 15:49
分布式
hadoop
架构
大数据
openEuler Linux 部署
HadoopHA
openEulerLinux部署
HadoopHA
升级操作系统和软件yum-yupdate升级后建议重启安装常用软件yum-yinstallgccgcc-c++autoconfautomakecmakemakersyncvimmanzipunzipnet-toolszlibzlib-developensslopenssl-develpcre-develtcpdumplrzsztarwget
李昊哲小课
·
2023-04-09 02:28
linux
运维
服务器
hadoop
大数据
Hadoop集群搭建HA高可用版
HadoopHA
搭建前提需要准备三台虚拟机创建三台虚拟机,主机名分别更改为hadoop01,hadoop02,hadoop03Hadoop部署如下主机名主机IPhadoop01192.168.197.101hadoop02192.168.197.102hadoop03192.168.197.103
bug智造
·
2023-04-03 23:22
大数据
hadoop
hadoop部分架构图
1.hdfs架构2.NamenodeSecondaryNamenode3.hadoop1.0与hadoop2.0比较图4.MapReduce5.MapReduceShuffle6.
hadoopha
7.hdfsarchitecture8
躁动的青年
·
2023-04-03 20:29
hadoop
hadoop
架构图
Hadoop HA原理及架构
HadoopHA
严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。
Exzzla
·
2023-04-03 04:16
Hadoop
hadoop HA与Hbase HA的详细安装与配置(从0开始)
文章目录前言一、
hadoopha
与hbaseha是什么?
ValidationExpression
·
2023-04-03 04:35
hadoop
hbase
大数据
hadoop HA(高可用)集群全分布模式安装
hadoopHA
(高可用)集群全分布模式安装提示:该配置基于前面章节已经安装好的hadoop全分布式集群、zookeeper组件基础上才能执行本章操作文章目录
hadoopHA
(高可用)集群全分布模式安装前言一
陈鸿林
·
2023-04-03 04:04
hadoop
【Hadoop HA】搭建Hadoop HA的详细教程
搭建
HadoopHA
的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置
HadoopHA
配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml
飝鱻.
·
2023-04-03 04:14
hadoop
Hadoop
Linux
运维
HADOOP HA之NameNode HA集群配置与应用
目录前言一、
HADOOPHA
之NameNodeHA集群配置1、修改hadoop-env.sh2、修改core-site.xml3、修改hdfs-site.xml4、修改workers5、同步配置文件6、
黄丕理
·
2023-04-02 05:28
集群搭建
hadoop
zookeeper
大数据
hdfs
用于生产环境Hadoop集群的搭建
01基本要求集群搭建,包含
HadoopHA
,hive,sqoop,spark及dolphinescheduler。
兴趣使然的码基
·
2023-03-23 02:23
hadoop
big
data
spark
企业是如何解决HDFS单点问题的?
前言在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了
HadoopHA
来解决NameNode
大数据老哥
·
2023-03-20 14:21
《大数据 知识图谱导航》有勇气的牛排
文章目录一、hadoop技术栈二、ES三、其他四、报错一、hadoop技术栈安装1、单机版hadoop云平台(伪分布式)搭建统计单词2、Ubuntu伪分布式hadoop安装3、hadoop全分布式部署4、
hadoopHA
有勇气的牛排
·
2023-01-05 03:43
云计算大数据虚拟化
hadoop
python
【精】HDFS的HA系列(一)--- 背景、架构
一、
HadoopHA
背景:单点故障(英语:singlepointoffailure,缩写SPOF)是指系统中一点失效,就会让整个系统无法运作的部件,换句话说,单点故障即会整体故障。
叹了口丶气
·
2022-11-29 17:04
HDFS全方位实战
hdfs
架构
hadoop
大数据学习目录
这里可以找到优秀的文章及书籍2、about云大数据论坛,网站上很多大数据资料hadoop博文:1、Hadoop2.x集群安装配置笔记初学搭建hadoop2、搭建hadoop2.6.0HDFSHA及YARNHA启动
hadoopHA
硅谷工具人
·
2022-11-20 19:27
big
data
学习
大数据
大数据平台,Hadoop集群架构,概述及原理
,大数据平台架构概述1,大数据概念2,大数据的特征3,大数据的处理流程和相关技术4,大数据平台架构的特点5,大数据平台架构原理二,Hadoop集群概述1,HDFS2,MapReduce3,YARN三,
HadoopHA
无求道贾
·
2022-10-05 11:53
HA
运维
Hadoop大数据
大数据
hadoop
Hadoop HA 高可用集群搭建
搭建环境:环境版本地址地址CentOS6.564x点击下载hadoop2.5.1点击下载Zookeeper3.4.5点击下载
HadoopHa
配置null点击下载nullnullnullch01192.168.128.121NNDNRMch02192.168.128.122NNDNNMch03192.168.128.123DNNM
wespten
·
2022-07-16 12:38
ELK
Hadoop
Spark
大数据安全
大数据
(超详细)基于Zookeeper的Hadoop HA集群的搭建
基于Zookeeper的
HadoopHA
集群的搭建JunLeon——gobigorgohome前言:高可用(highavailability,HA)指的是若当前工作中的机器宕机了,系统会自动处理异常,并将工作无缝地转移到其他备用机器上
IT路上的军哥
·
2022-03-31 10:04
大数据学习之路
hadoop
zookeeper
big
data
(超详细)快速上手分布式数据库——HBase
HBase的特点3.HBase组成部分及数据模型(1)HBase架构的组件及其作用(2)HBase的数据模型(3)表和Region4.HBase的读写流程5.HBase的Compaction过程二、基于
HadoopHA
IT路上的军哥
·
2022-03-31 10:30
大数据学习之路
hadoop
hbase
zookeeper
大数据
分布式
Flink HA模式环境搭建
FlinkHA模式环境搭建`前提:
hadoopha
和zookeeper已经安装完毕`一、下载Flink安装包二、下载Flink依赖的Hadoop包三、环境规划四、安装配置(在hadoop002上进行所有配置
若兰幽竹
·
2022-03-12 07:49
Flink
flink
Docker-搭建HA版的Hadoop集群
HadoopHA
原理概述:原理概述部分参考自:https://www.cnblogs.com/qingyunzong/p/8634335.html为什么会有
hadoopHA
机制呢?
君去不知何时归
·
2022-02-21 21:20
Hadoop+Zookeeper+Hbase高可用集群搭建
简介在工作中,生产环境和测试环境各搭建了一套
HadoopHA
集群且运行稳定,以下为测试环境的详细部署流程以及在使用过程中踩过的坑和解决方案。
yiming1012
·
2022-02-19 00:55
Hadoop HA 高可用之旅
HadoopHA
高可用之旅概述HDFS-HA集群搭建HDFS-HA核心问题HDFS-HA手动模式环境准备规划集群配置HDFS-HA集群官方地址在opt目录下创建一个ha文件夹将/opt/module/下的
cpuCode
·
2021-11-19 15:11
Hadoop
zookeeper
分布式
hadoop
big
data
大数据
史上最全的单机hadoop集群搭建
在这篇文章中,我将分成如下部分进行分享使用vagrant在本地运行虚拟机使用vagrant在本地搭建多机网络Hadoop基础环境搭建Hadoop集群的简单验证
HadoopHA
模式搭建及验证搭建过程中遇到的问题
aix91
·
2021-06-09 23:36
hadoop离线day07--Hadoop YARN、HA机制
安全模式自动进入离开手动进入离开安全模式的注意事项Hadoop集群动态扩容、缩容集群扩容集群缩容ApacheYARNYARN的概述YARN组件--3大组件client提交程序到yarn运行流程YARNschdulerYARN3大调度策略
HadoopHA
Vics异地我就
·
2021-06-01 21:44
Hadoop
Java基础
hadoop
Hadoop:HDFS
文章目录HDFS一、元数据1.元数据安全2.SecondaryNameNode3.元数据查看二、辅助功能1.Distcp2.Archive3.Snapshot三、
HadoopHA
和HadoopFederation1
Xiao Miao
·
2021-04-25 15:20
Hadoop
hadoop
hdfs
Hadoop HA高可用架构
HadoopHA
高可用架构架构的问题及解决方案Hadoop1与Hadoop2模块架构
HadoopHA
高可用机制HadoopFederation联盟机制HA实现可能遇到的问题两个NameNode的Active
杀智勇双全杀
·
2021-04-24 23:09
云计算大数据
笔记
hadoop
分布式
hdfs
高可用
journalnode
上一页
1
2
3
4
5
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他