E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式集群
后端架构师必知必会系列:分布式锁与并发控制
在互联网发展的早期,基于集中式服务器部署模式的网站在高并发访问下性能一般般,不过随着大规模集群的出现,如今很多网站已经将应用部署在
分布式集群
上,特别是在微服务架构兴起之后。为了提高
AI天才研究院
·
2025-03-10 01:37
AI大模型企业级应用开发实战
架构师必知必会系列
编程实践
大数据
人工智能
语言模型
Java
Python
架构设计
ES03 - ES其他知识点
ES其他知识点文章目录ES其他知识点一:
分布式集群
和路由计算1:单节点集群2:故障转移3:水平扩容4:宕机故障5:路由计算二:分片控制流程1:协调节点2:写流程3:读流程4:更新流程5:多文档操作流程5.1
是小崔啊
·
2025-03-09 03:42
#
elasticSearch
elasticsearch
大数据
搜索引擎
k8s service type_RabbitMQ(k8s)-随手笔记
,比如说支付、订单功能,服务后移,长时间操作的功能,同步数据我们通过监听数据变化实现功能联动特点分布式各节点互相冗余元数据(erlang.cookie,队列、交换机、绑定元数据、vhost元数据)实现
分布式集群
weixin_39873325
·
2025-03-08 02:42
k8s
service
type
全面指南:使用JMeter进行性能压测与性能优化(中间件压测、数据库压测、
分布式集群
压测、调优)
目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及
分布式集群
压测(待仔细学习)1.线程数量超过单机承载能力时的解决方案
m0_74822999
·
2025-03-03 10:55
面试
学习路线
阿里巴巴
jmeter
性能优化
中间件
RocketMQ的架构及其工作流程详解
RocketMQ的架构及解析Producer1、消息发布的角色,支持
分布式集群
方式部署。
--流星。
·
2025-03-02 22:53
微服务
rocketmq
java
GaussDB 学习实战指南:从部署到高并发优化的全流程解析
一、GaussDB
分布式集群
部署实战1.本地多节点集群搭建(以openGauss为例)环境准备硬件要
Jan123.
·
2025-03-02 00:55
gaussdb
学习
深入解析Zookeeper脑裂问题与CAP取舍:从原理到实战
“脑裂”(Split-brain)现象是指在一个
分布式集群
中,由于网络分区等原因,导致集群中的节点被分割成两个或多个独立的部分,每个部分都认为自己是唯一活跃的服务提供者。
guihong004
·
2025-02-27 05:26
java面试题
zookeeper
分布式
云原生
Spark----Spark 在不同集群中的架构
部署在单台机器上时,既可以用本地(Local)模式运行,也可以使用伪分布式模式来运行;当以
分布式集群
部署的时候,可以根据自己集群的实际情况选择Standalone模式(Spark自带的模式)、YARN-Client
XiaodunLP
·
2025-02-25 20:22
Spark
YashanDB体系架构
部署架构YashanDB支持三种部署形态,分别是单机(主备)部署(简称:单机部署)、
分布式集群
部署(简称:分布式部署)和共享集群部署。
YashanDB
·
2025-02-25 02:13
YashanDB
数据库
崖山数据库
YashanDB
YashanDB自动选主
#主备自动选主在
分布式集群
节点组和单机一主多备(大于一个备库)部署形态下,可以开启主备自动选主功能来实现主库选举以及故障自动切换。主备自动选主采用Raft算法,并支持设置Quorum。
·
2025-02-24 18:34
数据库
全面指南:使用JMeter进行性能压测与性能优化(中间件压测、数据库压测、
分布式集群
压测、调优)
目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及
分布式集群
压测(待仔细学习)1.线程数量超过单机承载能力时的解决方案
web13508588635
·
2025-02-23 00:46
面试
学习路线
阿里巴巴
jmeter
性能优化
中间件
《Linux运维总结:基于Ubuntu 22.04+x86_64架构CPU部署etcd 3.5.15二进制
分布式集群
》
总结:整理不易,如果对你有帮助,可否点赞关注一下?更多详细内容请参考:《Linux运维篇:Linux系统运维指南》一、功能简介1、什么是etcdetcd是一个分布式、可靠的键值存储系统,用于分布式系统中存储关键核心数据。它由CoreOS开发,并且是开源的,授权协议为Apache许可证。etcd内部采用了Raft一致性算法,可以实现配置共享和服务发现。etcd中文文档可参考如下:Etcd中文文档或者
东城绝神
·
2025-02-23 00:44
《Linux运维实战总结》
linux
运维
ubuntu
etcd
【Hadoop】使用Docker容器搭建伪
分布式集群
使用Docker容器搭建Hadoop伪
分布式集群
1、编写docker-compose.yaml文件配置集群version:"3"services:namenode:image:apache/hadoop
慕青Voyager
·
2025-02-21 09:14
分布式
hadoop
docker
MySQL的集群配置和读写分离配置
MySQL重点概念介绍
分布式集群
方案主从节点复制分库分表mycat读写分离参数配置MySQL主节点MySQL从节点实例讲演分布式部署性能演示独立mysql对比主从复制+读写分离参考资料:浅谈mysql集群浅谈
lqg_zone
·
2025-02-17 08:29
数据库相关
mysql
数据库
使用Docker搭建Flink集群
我们知道,像spark、flink这些计算框架都有多种运行模式:在本地使用多线程模拟集群真正的
分布式集群
如果直接在IDE(Intellj)里面编译和运行写好的程序,实际上是用的前一种运行模式;如果想尝试真正的生产环境中任务的提交和管
O_1CxH
·
2025-02-16 20:34
Flink大数据
Kafka大数据
docker
flink
容器
Java面试八股文:Memcached面试题专场(持续更新中......)
2、Memcached服务
分布式集群
如何实现?3、Memcached服务特点及工作原理是什么?4、简述Memcached内存管理机制原理?SlabAllo
Java凤梨
·
2025-02-16 17:11
Java金三银四面试题
memcached
java
面试
有了测试环境,为什么还需要预发环境
例子:测试环境使用单机部署,而生产环境是
分布式集群
,预发环境可提前发现分布式锁或服务发现机制的缺陷。真实数据与第三方依赖●测试环境:常使用脱敏数据、M
xidianhuihui
·
2025-02-11 11:54
dubbo
架构
zookeeper基础知识点
Zookeeper是一个分布式协调服务的开源框架,为分布式程序提供协调服务,同时用来解决
分布式集群
中应用系统的数据一致性问题。
@Heartworm
·
2025-02-10 15:19
笔记
zookeeper
java
分布式
clickhouse集群方案及表引擎最佳实践
clickhouse集群方案很多资料过于凌乱,也有一些还不错,但是其最佳实践部分讲的不够详细,例如:Clickhouse最佳实战之
分布式集群
方案研究那我们来讲讲我们的实践及面临过的问题。
yangls的技术博客
·
2025-02-09 13:42
大数据
spark1.6.0分布式安装
1.概述本文是对spark1.6.0
分布式集群
的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。
问道9527
·
2025-02-09 08:33
spark
spark
分布式
集群
三、大数据之Zookeeper完全
分布式集群
搭建
目录Zookeeper简介:(1)集群部署规划(2)安装Zookeeper(3)配置zook.cfg文件(4)配置服务器编号(5)配置Zookeeper环境变量(6)配置文件分发(7)集群启动(8)zookeeper群启脚本(9)Zookeeper官方文档说明:Zookeeper安装包Zookeeper简介:Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zoo
尘.埃
·
2025-02-08 03:37
大数据生态框架搭建
zookeeper
大数据
python
分布式集群
_Python搭建Spark
分布式集群
环境
本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群,而是使用三台电脑来搭建一个小型
分布式集群
环境安装。
小国阁下
·
2025-01-30 05:32
python
分布式集群
全面指南:使用JMeter进行性能压测与性能优化(中间件压测、数据库压测、
分布式集群
压测、调优)
目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及
分布式集群
压测(待仔细学习)1.线程数量超过单机承载能力时的解决方案
vip1024p
·
2025-01-22 07:34
面试
学习路线
阿里巴巴
jmeter
性能优化
中间件
oceanbase架构、功能模块、数据存储、特性、sql流转层等概念详解
一、架构图OceanBase数据库采用无共享(Shared-Nothing)
分布式集群
架构,各个节点之间完全对等,每个节点都有自己的SQL引擎、存储引擎、事务引擎,运行在普通PC服务器组成的集群之上,具备高可扩展性
小成很成
·
2025-01-21 11:16
数据库
分布式集群
中为什么会有 Master?思维导图 代码示例(java 架构)
在
分布式集群
中引入Master(通常也称为Leader或Primary)节点的主要原因是为了解决一致性问题,提供单点决策机制,并简化系统的管理和协调。
用心去追梦
·
2025-01-17 05:20
分布式
java
架构
Redisson分布式锁实现原理和使用
常见的锁内存锁lock,synchronize分布式锁redis,zookeeper实现Redisson基于redis实现了Lock接口的
分布式集群
锁,是可重入锁,功能强大,源码复杂,比redis单机模式分布式锁可靠
牧竹子
·
2024-09-14 22:25
springboot
#
redis
Redisson
redis
docker-compose部署minio
分布式集群
1、节点情况建议:minio节点数最好4节点以上,nginx独立部署在其他服务器。主机IP操作系统部署情况minio1192.168.16.34centos7miniominio2192.168.16.35centos7miniominio3192.168.16.36centos7miniominio4192.168.16.40centos7minio、nginx2、安装docker、docker
伏案惊涛
·
2024-09-14 19:32
docker
分布式
容器
python
分布式集群
ray_Ray:为人工智能而生的分布式执行框架
许多人工智能算法在计算上都非常密集,并且显示出复杂的通信模式。为此许多研究人员将大部分时间花在构建定制系统上,以高效地在集群中分发代码。然而,定制的系统通常是基于特定的单一算法或算法类。因此我们构建了Ray来帮助消除一堆冗余的工程任务,这些任务目前在每个新算法中反复出现。我们希望能够重用一些基本的基础元素来实现并高效地执行各种算法和应用程序。现有代码的简单并行化Ray允许通过最少的修改来远程执行P
不死鹰阿江
·
2024-09-12 04:51
python分布式集群ray
python
分布式集群
ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.
使用scrapy,scrapy-redis,graphite实现的京东分布式爬虫,以mongodb实现底层存储。分布式实现,解决带宽和性能的瓶颈,提高爬取的效率。实现scrapy-redis对进行url的去重以及调度,利用redis的高效和易于扩展能够轻松实现高效率下载:当redis存储或者访问速度遇到瓶颈时,可以通过增大redis集群数和爬虫集群数量改善版本支持现在支持Py2和Py3,但是需要注
weixin_39781930
·
2024-09-06 00:17
python分布式集群ray
聊聊 OceanBase 资源管理
OceanBase是分布式多租户架构数据库,其
分布式集群
从资源角度看可以分成集群、Zone、OBServer、资源池和租户等几个层次。
数据最前线
·
2024-09-03 04:56
oceanbase
数据库
学习
基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】
有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2
分布式集群
介绍
王小王-123
·
2024-09-03 04:54
hadoop
大数据
分布式
电商系统分析
分布式计算
Spring Boot/Cloud实现多服务Session共享
背景最近公司承接的某项目里,随着用户量的递增,单服务渐渐不能满足客户的需求了,客户方希望我们对原有的服务进行扩展,采用
分布式集群
部署的方式实现对高并发和负载均衡的支持。
雷袭月启
·
2024-09-02 01:12
spring
boot
后端
java
极客天成签署 CCLA,携手openEuler社区共拓信创AI新天地
极客天成以高通量
分布式集群
存储为先锋,围绕软件定义、智能化、安全可靠,全链RDMA构建了完全自主可控的分布式存储产品线和解决方案,主要解决用户海量数据下的高性能低时延数据读写难题,可为用户的数据中心提供
极客天成ScaleFlash
·
2024-08-31 14:32
人工智能
Java高级技术day75:Zookeeper与Dubbo
Zookeeper的介绍1.Zookeeper介绍:顾名思义zookeeper就是动物园管理员,他是用来管hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员,ApacheHbase和ApacheSolr的
分布式集群
都用到了
开源oo柒
·
2024-08-28 20:54
Kafka命令详解:从零开始,掌握Kafka集群管理、主题操作与监控的全方位技能,理解每一条命令背后的逻辑与最佳实践
为大家推荐几篇比较好的Kafka文章:Kafka
分布式集群
部署实战:跨越理论,直击生产环境部署难题与解决方案,性能调优、监控与管理策略大揭秘,轻松上手分布式消息中间件-CSDN博客ApacheKafka
长风清留扬
·
2024-08-27 16:37
大数据
Kafka
Linux
kafka
分布式
linux
大数据
命令模式
《Linux运维总结:基于银河麒麟V10+ARM64架构CPU部署zookeeper 3.8.4二进制
分布式集群
》
总结:整理不易,如果对你有帮助,可否点赞关注一下?更多详细内容请参考:《Linux运维篇:Linux系统运维指南》一、功能简介1、什么是ZookeeperZooKeeper是一个开源的、分布式的应用程序协调服务,它为分布式框架提供协调服务的Apache项目。它是Google的Chubby项目的开源实现之一,并且是Hadoop和HBase等项目的重要组成部分。ZooKeeper提供的功能包括配置维护
东城绝神
·
2024-08-22 16:35
《Linux运维实战总结》
运维
分布式
linux
zookeeper
基于ElasticSearch存储海量AIS数据-架构设计篇
面向海量AIS数据,提出了一种基于
分布式集群
的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计,通过对时间维按月切分,以及对空间范围聚类切分,构造了索引时空立方体,
iOS逆向
·
2024-03-15 23:58
数据库技能
elasticsearch
大数据
搜索引擎
docker搭建hadoop hdfs完全
分布式集群
1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。这里注意,在做好的镜像里,要安装which工具,否则在执行hdfs命令时会报命令不存在异常。yuminstallwhich-y2启动容器dockerrun--namehmaster--hostnamehmaster--net
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
【9】知识存储
单节点的服务器可承载上亿级的节点和关系,单节点性能不够时也可进行
分布式集群
部署。Neo4j有自己的后端存储,不必如同JanusGraph等一样还要依赖另外的数据库存储。
铁盒薄荷糖
·
2024-02-19 22:06
知识图谱实战6+3天
知识图谱
FastDFS
分布式集群
搭建详解
文章目录前言1、整体架构2、安装配置FastDFS集群2.1配置tracker2.2配置storage3、启动集群4、查看集群情况5、nginx配置5.1配置storage的四台机器的nginx5.2配置tracker的两台机器的nginx5.3配置统一入口前言阅读本文章之前请先看上一篇单机版FastDFS安装配置详解,所以本文有些内容我就一笔带过,传送门:《FastDFS环境搭建及使用详解》1、
程序员大佬超
·
2024-02-19 16:39
FastDFS
分布式
FastDFS
fdfs
文件上传-第三方服务阿里云OSS
也可以建立
分布式集群
,专门的微服务来存储文件常见的技术比如Minio。对于中小型公司,并且上传文件私密性不高的话可以使用第三方的存储服务,比如阿里云、华为云等。
sunyunfei1994
·
2024-02-19 16:54
阿里云
java
阿里云计算平台大数据基础工程技术团队直聘!!!
通过软件工程,数据智能化的方法论,围绕数据系统化建设运维智能工具链,打造飞天大数据&AI运维管控平台ABM,解决超大规模
分布式集群
运维管理问题,提升产品的稳定性
·
2024-02-19 11:20
大数据
分布式缓存上—浅谈缓存的理解
2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存3.1Memcached基本介绍特点基本架构缓存数据过期策略数据淘汰内部实现
分布式集群
实现数据存储步骤
ZNineSun
·
2024-02-15 09:39
分布式
缓存
CDN
设计原则
反向代理
过期策略
Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)
前置步骤:1).第一阶段:Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全
分布式集群
5).在完全
分布式集群
上测试
郑大能
·
2024-02-15 04:07
hadoop
分布式集群
安装与原理
对很多人来说,学习大数据都止步于集群搭建,即使是那些工作过很多年的JAVA程序员也不例外,我们分享一套能让您轻松完成集群搭建的方法,包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理,请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用(HA)HDFS安装HDFS原理以及常用命令yarn原理以及日常使用
海牛大数据_青牛老师
·
2024-02-13 12:44
如何搭建glusterfs分布式存储系统
目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动
分布式集群
的结构配置可信池pool
MssGuo
·
2024-02-12 14:55
存储篇
分布式
运维
glusterfs
2018-11-16 hadoop3.1完全分布式部署
Hadoop3.1.0完全
分布式集群
部署,三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯
·
2024-02-12 08:20
Kubernetes 实战 (二) -- 面向资源的
分布式集群
- 运维舵手
本文所涉及的脚本均来自仓库k-kubernetes-public闻名不如见面--HPAHorizontalPodAutoscaling,水平部署自动化弹性伸缩,即K8s支持根据CPU/内存利用率自动伸缩Pod数量,从而动态调整负载。Yaml配置#无状态服务部署DeploymentapiVersion:apps/v1kind:Deploymentmetadata:name:nginx-hpaspec
coder_kkx
·
2024-02-09 08:00
Kubernetes
实战
kubernetes
运维
分布式
Zookeeper的详细介绍及使用场景
ApacheHadoop的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等Zookeeper作为一个分布式的服务框架,主要用来解决
分布式集群
中应用系统的一致性问题
Zal哥哥
·
2024-02-08 15:11
Hadoop系统应用之Zookeeper
分布式集群
部署
一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包(地址)https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包(SecureCRT&FX)通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-
·
2024-02-07 22:31
分布式
hadoop
java-zookeeper
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他