E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
rocketmq集群
hadoop-YARN
aladdin(YetAnotherResourceNegotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为
集群
在利用率
weixin_33736649
·
2024-02-12 07:44
大数据
Hadoop-MapReduce-Yarn
集群
搭建
搭建的部署节点图如下:hdfs和yarn是两个不同概念,两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器,它们的比例是1比1关系的。否则DataNode只能存储,不能做相应的计算处理。通过官网搭建:hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.ht
qq_2368521029
·
2024-02-12 07:44
搭建 Hadoop-3.1.3 HA
集群
本文目录1.
集群
部署分布规划2.Zookeepr
集群
安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年
·
2024-02-12 07:43
#
Hadoop
hadoop
hdfs
大数据
Hadoop-HA高可用
集群
部署
(3)NameNode主要在以下两个方面影响HDFS
集群
➢NameNode机器发生意外,如宕机,
集群
将无法使用,直到管理员重启➢NameNode机器需要升级,包括软件、硬件升
魔笛Love
·
2024-02-12 07:13
hadoop
hdfs
big
data
Hadoop-Yarn-ResourceManagerHA
一、介绍在Hadoop2.4之前,ResourceManager是YARN
集群
中的单点故障ResourceManagerHA是通过Active/Standby体系结构实现的,在任何时候其中一个RM都是活动的
隔着天花板看星星
·
2024-02-12 07:42
hadoop
大数据
分布式
openEuler-22.03-LTS-SP3 Kubernets
集群
部署实战
一、环境介绍1、Windows11专业版,VMwareWorkstation17,XShell、XFtp、openEuler-22.03-LTS-SP32、Kubernets
集群
节点规划节点名称节点IP
wanchengpeng
·
2024-02-12 06:02
kubernetes
容器
linux
org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0
上传文件到
集群
遇到以下异常:org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master
橙汁啤酒厂
·
2024-02-12 05:24
hadoop
大数据
HBase
集群
部署
1.HBase安装相关版本:Hadoop:2.7.3hbase:1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包,下载并解压到/opt目录下2.HBase参数配置2.1修改Master节点和Slave节点的/etc/hosts文件#vi/etc/hosts添加以下内容:172.30.0.10master172.30.0.11slave1172
橙汁啤酒厂
·
2024-02-12 05:23
大数据
hbase
数据库
大数据
hadoop
Spark 作业执行
Spark基本组件,Master和Worker,负责运行Client和Driver作业执行框架每个SparkApplication由主控节点Master、
集群
资源管理节点ClusterManager、执行任务节点
Alex90
·
2024-02-12 05:04
普通程序员看k8s的账户管理
一、知识准备●账户管理分为:userAccount与serviceAccount●userAccount:通常是给人设计使用的,并且userAccount不在k8s
集群
内管理●serviceAccount
wilsonchai
·
2024-02-12 05:29
Spark 共享变量
通常,当传递给Spark操作(如map或reduce)的函数在远程
集群
节点上执行时,在函数中使用的所有外部变量都是单独拷贝的变量副本。
stone_zhu
·
2024-02-12 03:02
并行计算工具 MPI 简单教程
UsingMPIwithC并行程序使用户能够充分利用超级计算
集群
的多节点结构。消息传递接口(MPI)是一种标准,用于允许
集群
上的多个不同处理器相互通信。
疯狂的泰码君
·
2024-02-12 02:54
MPI
并行计算
MPI
Java:K8S难点,大厂面试必问,三分钟吃透
当我们尝试去理解Kubernetes
集群
工作原理的时候,控制器肯定是一个难点。这是因为控制器有很多,具体实现大相径庭;且控制器的实现用到了一些较为晦涩的机制,不易理解。
Java罗
·
2024-02-12 01:47
haproxy配置代理tomcat和nginx_一文聊透负载均衡神器 LVS、Nginx、HAProxy的工作原理...
这是Bella酱的第78期分享当前大多数的互联网系统都使用了服务器
集群
技术,
集群
是将相同服务部署在多台服务器上构成一个
集群
整体对外提供服务,这些
集群
可以是Web应用服务器
集群
,也可以是数据库服务器
集群
,
weixin_39951929
·
2024-02-12 01:07
nginx做服务器入口
mysql数据库的pxc工具_CentOS7 下 MySQL 数据库 PXC
集群
部署操作指导
背景最近在进行MySQL的PXC
集群
搭建使用和研究前期已完成了一篇记录文章:【CentOS7下MySQL之PXC
集群
部署【Docker+多机多节点】】但是,毕竟不是所有人都熟悉docker而作为开发人员
郑默默
·
2024-02-12 00:25
mysql数据库的pxc工具
实现订单到期关闭
目录一、被动关闭二、定时任务三、JDK自带的DelayQueue四、Netty的时间轮五、Kafka的时间轮六、
RocketMQ
延迟消息七、RabbitMQ死信队列八、RabbitMQ插件九、Redis
雾里有果橙
·
2024-02-11 22:56
rabbitmq
分布式
领导:谁再用 Redis 实现过期订单关闭,立马滚蛋!
每天10:33更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件
RocketMQ
公众号-芋道源码
·
2024-02-11 22:24
redis
java
数据库
缓存
开发语言
架构演变及分布式解决方案
架构单体架构所有的功能都集中在一个项目中,并部署在同一台服务器,往往一个功能的阻塞会导致整个应用的阻塞,最终导致整个服务器不可用,随着业务模块的不断拓展,代码的可读性、维护性越来越差,测试成本也越来越高单体架构下的
集群
部署
大能嘚吧嘚
·
2024-02-11 22:39
微服务
微服务架构
分布式
架构
java
微服务
gerrit调优——超级干货
一、确定配置大小根据gerrit使用的服务器
集群
的硬件配置来确定大小二、调整gerrit.configreceive.timeout处理传入更改和更新refs和Gerrit更改的超时。
KEY丶
·
2024-02-11 21:50
孩子,把你的手给我
这是我在大市
集群
的第4次语音分享。
心若向阳333
·
2024-02-11 21:44
使用kubeadm快速启用一个
集群
使用kubeadm快速启用一个
集群
CentOS配置YUM源cat/etc/yum.repos.d/kubernetes.repo[kubernetes]name=kubernetesbaseurl=https
小陈运维
·
2024-02-11 20:50
通过hub.docker加git获取kubernetes镜像
使用工具kubeadm安装kubernetes
集群
是需要的镜像默认放在google容器仓库中,国内不便直接下载,这里记录通过hub.docker加git获取kubernetes镜像:1.登陆注册dockerID
奚落大神
·
2024-02-11 20:23
外部服务发现之 ingress
介绍其实就是从kuberenets
集群
外部访问
集群
的一个入口,将外部的请求转发到
集群
内不同的Service上,其实就相当于nginx、haproxy等负载均衡代理服务器,有的同学可能觉得我们直接使用nginx
liu__chao
·
2024-02-11 20:21
Redis之旅--Redis
集群
(十二)
一、RedisSentinel简介 Sentinel(哨兵)进程是用于监控redis
集群
中Master主服务器工作的状态,在Master主服务器发生故障的时候,可以实现Master和Slave服务器的切换
无剑_君
·
2024-02-11 20:23
ClickHouse
集群
搭建及ODBC配置
以下是搭建ClickHouse
集群
及配置ODBC的步骤。首先是ClickHouse
集群
的搭建。假设你有三台服务器,IP分别为192.168.1.1,192.168.1.2,192.168.1.3。
·
2024-02-11 18:02
记一次 Redis 数据库迁移
业务背景最近因业务需要将
集群
中的Redisdb8迁移到另一个库中。不需要把全部的Redis都迁移过去,只需要迁移db8到新服务器的db15。大概情况是这样,如图:当然也探索了一些
·
2024-02-11 18:53
redis数据迁移
SpringCloud微服务实战——搭建企业级开发框架(三十六):使用Spring Cloud Stream实现消息中间件功能
在以往消息队列的使用中,我们通常使用集成消息中间件开源包来实现对应功能,而消息中间件的实现又有多种,比如目前比较主流的ActiveMQ、
RocketMQ
、RabbitMQ、Kafka,Stream等
·
2024-02-11 17:42
Flomesh Ingress 使用实践(一)基础功能
Ingress是对
集群
中服务的外部访问进行管理的API对象,典型的访问方式是HTTP。提供负载均衡、SSL终结和基于名称的虚拟托管。
·
2024-02-11 17:23
服务架构发展历程
(高并发问题)解决方案:
集群
(
集群
方案解决)会出现的如下问题:高并发、高可用、高性能提高系统的并发能力:
集群
操作:
集群
:同一个业务,部署在多个服务器上特点:项目采用
集群
(
坎坷终究平坦
·
2024-02-11 17:13
架构
【博云2023】乘龙一跃腾云海,侧目抬手摘星河
我们的信心来自于努力耕耘终有收获博云为客户打造了可支撑万亿信托管理规模的云原生技术中台,支撑起客户的整个IT研发、运维系统;博云云管理平台产品支撑的单用户IT
集群
达到数千台服务器、上万台虚拟机,稳定保障着客户的业务系统运营
博云技术社区
·
2024-02-11 17:39
博云活动
云原生
LLM大模型
龙叔学ES:Elasticsearch XPACK安全认证
Xpack2、相关安全配置介绍2.1、xpack.security.enabled2.2、xpack.security.http.ssl2.3、xpack.security.transport.ssl3、ES
集群
认证配置
龙叔运维
·
2024-02-11 16:17
龙叔ES
linux
运维
服务器
elasticsearch
Hbase - 迁移数据[导出,导入]
有没有这样一样情况,把一个
集群
中的某个表导到另一个群集中,或者hbase的表结构发生了更改,但是数据还要,比如预分区没做,导致某台RegionServer很吃紧,Hbase的导出导出都可以很快的完成这些操作
kikiki2
·
2024-02-11 14:23
2.10日学习打卡----初学
RocketMQ
(一)
2.10日学习打卡对于MQ(Messagequeue)消息队列的一些解释可以看我原来写的文章初学RabbitMQ各大MQ产品比较一.
RocketMQ
概述发展历程
RocketMQ
概念术语生产者和消费者生产者负责生产消息
中北萌新程序员
·
2024-02-11 14:50
每日学习
学习
rocketmq
ruby
半监督语义分割论文学习记录
一致性训练的有效性在很大程度上取决于数据分布的行为,即
集群
假设,其中类必须由低密度区域分隔。在语义分割中,在输入中,我们没有观察到低密度区域
西瓜真的很皮啊
·
2024-02-11 14:19
半监督语义分割
深度学习
机器学习
人工智能
LSF 主机状态 unreach 分析
在LSF
集群
运行过程中,有主机状态变为unreach。熟悉LSF的朋友都知道主机状态为unreach表示主机上的SBD服务中断服务了,但其它服务LIM和RES还在正常运行。
boshushuoshuo
·
2024-02-11 13:51
LSF使用技巧
LSF
unreach
EDA
Elasticearch和Kafka概念对比
1、概念对比kafka
集群
包含多个broker,每个broker都是一个kafka实例。每个服务器会有多个broker,我们暂且认为每个服务器包含一个broker。
Yisnow.
·
2024-02-11 12:37
框架
kafka
elasticsearch
es
Kafka 概念,安装,常用命令(一)
Kafka有点像消息系统,允许发布和订阅消息流,但是它和传统的消息系统有很大的差异,首先,Kafka是个现代分布式系统,以
集群
的方式运行,可以自由伸缩。
响彻天堂丶
·
2024-02-11 12:06
kafka入门
kafka
RocketMQ
分布式事务消息
一、什么是事务事务是将一次执行过程中所涉及的所有操作纳入到一个不可分割的执行单元,组成事务的所有操作只有在所有操作均能正常执行的情况下才能提交,只要其中任一操作执行失败,都将导致整个事务的回滚。一句话来说,就是保证多个操作要么都做,要么都不做。同时一旦事务提交,则其所做的修改会永久保存到数据库。二、事务的四个特性(ACID)A:原子性(Atomicity)一个事务(transaction)中的所有
AYSAML
·
2024-02-11 12:13
minio server pool 的特点小结
minioserverpool是目前minio官方推荐的
集群
扩容方案,使用上简单,算是做到了真的
集群
扩容能力,操作简单,维护成本并不是很大。
网络飞鸥
·
2024-02-11 11:47
minio
服务器
linux
数据库
k8s
集群
搭建 1.18.0
1.初始准备确保
集群
间机器互相ping通关闭selinux:sed-i's/enforcing/disabled/'/etc/selinux/configsetenforce0关闭swap:swapoff-a
dyyy_li
·
2024-02-11 11:04
消息队列原理和选型:Kafka、
RocketMQ
、RabbitMQ 和 ActiveMQ
我有时会问同事,为啥你用RabbitMQ,不用Kafka,或者
RocketMQ
呢,他给我的回答“因为公司用的就是这个,大家都这么用”,如果你去面试,直接就被Pass,今天这篇文章,告诉你如何回答。
90后小伙追梦之路
·
2024-02-11 11:56
架构
java
面试
kafka
java-rabbitmq
java-activemq
java
redis
k8s安装与使用入门
1.内容编排与kubernetes介绍支持
集群
环境内容编排的工具kubernetes简称k8s.k8s是谷歌官方提供的,底层基于docker,与docker-swarm是竞争关系。
奔跑的杂粮煎饼
·
2024-02-11 10:59
校招失败,在小公司熬了2年后我终于进了阿里,定级P6(Java岗)
image一面(远程视频面)自我介绍项目介绍Redis介绍了解redis源码吗了解redis
集群
吗Hashmap的原理hashmap容量为什么是2
我要熬夜写代码
·
2024-02-11 09:17
Nacos实战应用 安装 功能应用
集群
Nacos实战应用Nacos实战应用1Nacos安装1.1Nacos概要1.2Nacos安装1.2.1Nacos安装1.2.1.1NacosDerby安装1.2.1.2NacosMySQL版安装1.2.1.3Docker安装Nacos2Nacos功能应用2.1Nacos服务注册与发现2.2负载均衡2.3配置中心2.3.1配置管理2.3.2多环境切换2.3.3多/共享配置2.3.4配置刷新2.3.4
Ybb_studyRecord
·
2024-02-11 08:44
互联网微服务前沿技术栈进阶
java
Nacous
Nacous集群
灰度发布
配置刷新
ZeroMQ:01---消息队列ZeroMQ简介
其提供了各种传输工具,如进程内、进程间、TCP和组播中进行原子消息传送的套接字你可以使用各种模式实现N对N的套接字连接,这些模式包括:扇出、发布-订阅、任务分配、请求-应答ZeroMQ的速度足够快,因此可充当
集群
产品的结构
芒种、
·
2024-02-11 07:11
ZeroMQ
ZeroMQ简介
为什么要使用ZeroMQ
03 - Flink客户端源码CliFrontend
介绍通过"bin/flinkrun"提交jar包到Flink
集群
,在"bin/flink"脚本中实际是调用org.apache.flink.client.cli.CliFrontend#main触发真正的执行
敲代码的卡普罗尼
·
2024-02-11 07:26
Flink
flink
java
hadoop
RabbitMQ学习笔记
RabbitMQ笔记主流MQ简单了解衡量标准服务性能数据存储
集群
架构ActiveMQ适用于中小型企业,但在高并发情况下效率较低,不适用与并发Kafka高吞吐、速度快,但不支持事务,不能保证消息的可靠性一般用于日志传输
努力变优秀的Z
·
2024-02-11 06:05
RabbitMQ
七丰富的API,多种
集群
构建模式使得他称为业界老牌消息中间件,在中小型企业广泛应用!
~Maple~
·
2024-02-11 06:05
RabbitMQ
队列
rabbitmq
消息队列
RocketMQ
源码分析 —— 集成 Spring Boot
源码精品专栏原创|Java2020超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件
RocketMQ
源码解析数据库中间件Sharding-JDBC
公众号-芋道源码
·
2024-02-11 06:33
如何构建一个 NodeJS 影院微服务并使用 Docker 部署
在这个系列中,将构建一个NodeJS微服务,并使用DockerSwarm
集群
进行部署。
程序员辰风
·
2024-02-11 06:56
前端
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他