E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop高可用
RabbitMQ
RabbitMQ在分布式系统中扮演着重要的角色,主要用于存储和转发消息,支持高并发、
高可用
性和高可靠性的消息传递。
Qzer_407
·
2024-08-22 19:50
后端技术栈
rabbitmq
分布式
后端
java
Kubernetes 中如何对 etcd 进行备份和还原
etcd是一个
高可用
的键值存储系统,主要用于存储和管理Kubernetes集群的状态和配置数据。对于Kubernetes集群的可用性和一致性而言,保护etcd数据的完整性及可恢复性至关重要。
vvvae1234
·
2024-08-22 18:45
etcd
《Linux运维总结:基于银河麒麟V10+ARM64架构CPU部署zookeeper 3.8.4二进制分布式集群》
它是Google的Chubby项目的开源实现之一,并且是
Hadoop
和HBase等项目的重要组成部分。ZooKeeper提供的功能包括配置维护
东城绝神
·
2024-08-22 16:35
《Linux运维实战总结》
运维
分布式
linux
zookeeper
高可用
IP地址管理:使用Keepalived和Nginx实现VIP及IP池配置
在现代网络架构中,确保服务的
高可用
性是至关重要的。这不仅关系到用户体验,还直接影响到业务的连续性和稳定性。
好奇的菜鸟
·
2024-08-22 11:01
服务器
tcp/ip
nginx
网络协议
高并发、高性能、
高可用
三高也就是所谓的高并发、
高可用
、高性能。这三者的关系是,当今的互联网高并发出现的情况比较多,为了解决高并发,所以我们需要保证系统的
高可用
和高性能。
亮Orz
·
2024-08-22 09:18
java
分布式
微服务
互联网三高架构之高并发、高性能、
高可用
的理解
互联网三高架构:高并发、高性能、
高可用
,简称三高(3H)互联网应用系统开发肯定经常会看到高并发和高性能这两个词,可谓是耳熟能详,而具体的含义和关系真的如你所想的,真正的理解了吗?
千百元
·
2024-08-22 08:45
#
java
Amazon EFS:云端弹性文件系统的多元化应用场景
应用:
Hadoop
、Spark等大数据框架优势:高
ivwdcwso
·
2024-08-22 04:51
运维
EFS
AWS
微服务健康检查:如何通过Eureka实现服务自动剔除与恢复
微服务健康检查:如何通过Eureka实现服务自动剔除与恢复引言随着微服务架构的广泛应用,如何保证服务的
高可用
性和系统的稳定性成为了架构设计中的重要考量。
勤劳兔码农
·
2024-08-22 03:42
微服务
eureka
架构
MySQL键分区分区表
键分区广泛应用于MySQLCluster环境中,它可以提供
高可用
性、可伸缩性和容错性。如何创建键分区分区表?创建键分区分区表需要以下几个步骤:1.设计分区键:首先,需要选择一个适合的列作为分区键。
中台小A
·
2024-08-22 02:07
mysql
mysql
数据库
大数据
Hadoop
的概念
1.什么是大数据数据体量巨大:数据量规模庞大,通常以PB(拍字节)或EB(艾字节)来衡量,远远超出了传统数据库和数据处理工具的处理能力。数据类型多样:大数据包括结构化数据、半结构化数据和非结构化数据。其中,非结构化数据占据了相当大的比例,如文本、音频、视频、图片、地理位置信息等。价值密度低:在大量的数据中,真正有价值的信息可能只是很小的一部分。因此,如何从海量数据中快速提取有价值的信息是大数据处理
子非鱼
·
2024-08-22 02:03
hadoop
大数据
分布式
MAP REDUCE
框架示例Apache
Hadoop
:以MapReduce作为默认处理引擎的框架。ApacheSpark:可以整合进
Hadoop
,取代MapReduce的框架
Xiao_die888
·
2024-08-22 01:58
大数据分析与应用
mapreduce
HiveSQL常见函数及使用方法(含代码示例)
HiveSQL(HiveSQL)是ApacheHive所使用的SQL方言,专门用于在
Hadoop
上进行大规模数据处理。以下是一些常见的HiveSQL函数及其使用方法:1.聚合函数COUNT统计记录数。
会飞的岛格酱
·
2024-08-21 21:31
SQL代码练习
hive
sql
数据分析
2024-07-12 - 基于 sealos 部署
高可用
K8S 管理系统
摘要Sealos是一款以Kubernetes为内核的云操作系统发行版。它以云原生的方式,抛弃了传统的云计算架构,转向以Kubernetes为云内核的新架构,使企业能够像使用个人电脑一样简单地使用云。操作实践1、服务器规划kubernetes集群大体上分为两类:一主多从和多主多从。a、一M多N:一台Master节点和多台Node节点,但是有单机故障风险,适合用于测试环境b、多M多N:多台Master
流雨声
·
2024-08-21 21:30
kubernetes
容器
云原生
通俗易懂:MySQL中如何设置只读实例并确保数据一致性?
在MySQL中设置只读实例主要应用于构建
高可用
性和扩展性的数据库环境,通常是为了分担读取负载或者用于备份和灾难恢复。
大龄下岗程序员
·
2024-03-29 14:19
mysql
java
mysql
spring
Redis分布式锁—SETNX+Lua脚本实现
高可用
,可以部署redis集群。加锁在red
Sahm5k
·
2024-03-28 23:58
java
redis
分布式
lua
Azkaban各种类型的Job编写
一、概述原生的Azkaban支持的plugin类型有以下这些:command:Linuxshell命令行任务gobblin:通用数据采集工具
hadoop
Java:运行
hadoop
MR任务java:原生java
__元昊__
·
2024-03-28 21:00
Linux(centos7)部署hive
前提环境:已部署完
hadoop
(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠
·
2024-03-28 12:44
Linux
linux
hive
运维
dbeaver
hive客户端
Linux通过Tuned实现动态调优系统性能
尽管Linux有默认设置可以处理大多数情况和场景,但是对于高性能、高并发和
高可用
性系统等特殊场景,需要进行调整。本文讨论的特性是tuned,它是Linux系统中常用的一种调优服务。tuned由两个程
星河_赵梓宇
·
2024-03-28 12:14
linux
运维
服务器
Kafka、ActiveMQ、RabbitMQ 及 RocketMQ区别比较
它可以实现高性能、
高可用
、可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件。
木西爷
·
2024-03-28 11:12
kafka
activemq
rabbitmq
阿里云
rocketmq
Mysql数据库MariaDB数据库MHA
高可用
程序
MHA(MasterHA)是一款开源的MySQL的
高可用
程序,它为MySQL主从复制架构提供了automatingmasterfailover功能。
yichen_china
·
2024-03-27 00:48
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括
Hadoop
框架、HDFS、MapReduce、YARN以及
Hadoop
生态系统中的其他关键工具,如Spark、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【
Hadoop
】使用Scala与Spark连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,ApacheSpark是一个广泛使用的高性能、通用的计算框架,而ClickHouse作为一个高性能的列式数据库,特别适合在线分析处理(OLAP)。结合Scala语
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
Nagios安装部署全攻略
2台LVS(主备)、2台nginx、2台tomcat、1台后台服务器(nginx_tomcat)、3台mysql(主+备+异地灾备)、1台图片服务器、2台memcached.可以看出网站的架构就是基于
高可用
的原理的
weixin_34109408
·
2024-03-26 06:51
memcached
php
操作系统
haproxy的无缝热重启的实现原理
目录1.引言2.HAPROXY的准无缝热加载方案3.支持零宕机时间、零延迟的热加载方案3.1multibinder的实现3.2HAProxy启动脚本包装器的实现1.引言 在构建
高可用
的负载均衡架构时,
码农心语
·
2024-03-26 05:19
高性能
c++开发
LINUX
haproxy
seamless
reload
无缝热重启
高可用
系统有哪些设计原则
1.降级主动降级:开关推送被动降级:超时降级异常降级失败率熔断保护多级降级2.限流nginx的limit模块gatewayredis+Lua业务层限流本地限流gua分布式限流sentinel3.弹性计算弹性伸缩—K8S+docker主链路压力过大的时候可以将非主链路的机器给主链路的应用用上4.流量切换多机房环境:DNS端域名切换入口Clien端流量调度虚IPHaProxyLVS负载均衡应用层Ngi
没有女朋友的程序员
·
2024-03-24 10:29
架构师
架构
hadoop
配置免密登录
1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年
·
2024-03-24 07:25
ssh
服务器
linux
【笔记】HDFS基础笔记
启动
hadoop
命令(未配环境变量):进入
hadoop
安装目录输入.
哇咔咔哇咔
·
2024-03-20 04:12
Hadoop
hdfs
笔记
hadoop
大数据
ubuntu
【笔记】Linux常用命令
命令含义cd/home/
hadoop
#把/home/
hadoop
设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录(或主文件夹)。
哇咔咔哇咔
·
2024-03-20 03:11
Linux
笔记
linux
运维
ubuntu
Redis 哨兵集群如何实现
高可用
?(2)
目录7.slave配置的自动纠正8.slave->master选举算法9.quorum和majority10.configurationepoch11.configuration传播7.slave配置的自动纠正哨兵会负责自动纠正slave的一些配置,比如slave如果要成为潜在的master候选人,哨兵会确保slave复制现有master的数据;如果slave连接到了一个错误的master上,比如
fighting哥
·
2024-03-17 22:34
缓存
java
数据库
redis
缓存
linux安装单机版spark3.5.0
一、spark介绍是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
Linux——使用Keepalived实现DHCP服务的
高可用
前言Keepalived是一个用于实现
高可用
性的开源工具,主要用于实现基于VRRP协议的负载均衡和故障转移功能。它可以通过检测节点的健康状况,并自动切换到备份节点来确保服务的
高可用
性。
一坨小橙子ovo
·
2024-03-17 05:10
linux
运维
服务器
开源数据库 OpenGauss 的 SQL 解析源码分析
开源数据库OpenGauss的SQL解析源码分析openGauss数据库体系概述openGauss是关系型数据库,采用客户端/服务器,单进程多线程架构;支持单机和一主多备部署方式,同时支持备机可读、双机
高可用
等特性
openGaussMan
·
2024-03-17 05:39
网络
openGauss
数据库
Redis 哨兵模式
RedisSentinel是Redis的
高可用
性解决方案,它用于自动管理Redis主从复制的配置,并在主服务器出现故障时自动进行故障转移。
ronshi
·
2024-03-16 20:28
基础
redis
数据库
SAN的简介和特点
它是一种专用网络,将存储资源与计算资源隔离开来,通过高速传输通道传输数据,并提供
高可用
性、可扩展性和灵活性的存储解决方案。
专属于Ogcloud的打工人
·
2024-03-16 16:54
运维
数据库
服务器
安全
网络
Hadoop
简介
简介大数据简介概述大数据的说法从出现到现在,也经历了十多年时间的发展。而在这十几年的发展过程中,非常多的机构、组织都试图对大数据做出过定义,例如:研究机构Gartner给出了这样的定义:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学
·
2024-03-16 07:10
hadoop
mysql如何保持
高可用
要保持MySQL数据库系统的
高可用
性,可以采取以下几种方法:主从复制(Master-SlaveReplication):配置主从复制是MySQL
高可用
性的基本方式。
橙哥分享
·
2024-03-16 02:31
java面试
mysql
Hive中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.
hadoop
.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive库表占用空间大小的命令
hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小(单位G)
hadoop
fs-ls
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
什么是三高架构
三高架构是指在软件系统设计与开发中,注重解决高并发性、
高可用
性和高性能的架构设计模式。高并发性:指系统能够处理大量并发请求的能力。
潇洒大舅哥
·
2024-03-15 07:04
运维
数据库
03hive数仓安装与基础使用
hiveHive概述Hive是基于
Hadoop
的一个数据仓库工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
HDFS
(一)HDFS简介及其基本概念 HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
高并发
高可用
--反向代理与负载均衡
高并发
高可用
架构是指能够应对大量并发请求并保持高度可用的系统架构。为了实现这一目标,通常会采用一系列技术和策略,包括负载均衡、缓存、分布式系统、冗余部署、容错处理等。
管理大亨
·
2024-03-05 01:20
大数据专题
.netcore
前端
c#
.net
nginx
Zabbix HA
高可用
集群搭建
ZabbixHA
高可用
集群搭建ZabbixHA
高可用
集群搭建一、Zabbix
高可用
集群(ZabbixHA)二、部署Zabbix
高可用
集群1、两个服务端配置1.1主节点ZabbixServer配置1.2备节点
KK小草莓
·
2024-03-03 20:44
zabbix
分布式ID选型对比(1)
常见的几种ID生成方式对比:种类全局唯一高性能
高可用
趋势递增中心服务缺点UUID是高(本地生成,(无网络开销)低(无序,不适用)否否无序、字符串数据库自增单表唯一中中(宕机就会使业务服务中断)是否安全性差
Loren_云淡风轻
·
2024-03-03 14:04
框架部分
特定功能
springboot
分布式
分布式ID
分布式ID实战
HA集群--一起学习吧之架构
首先,上定义~一、HA定义HA(HighAvailability)集群,即
高可用
集群,是一种以减少服务中断时间为目的的服务器集群技术。
wd90119
·
2024-03-03 11:30
学习
架构
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他