E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分片
GaussDB 学习实战指南:从部署到高并发优化的全流程解析
本文将以实战操作为核心,覆盖集群部署、数据
分片
、性能调优、容灾备份、云上迁移五大场景,通过真实案例与代码示例,助你快速掌握GaussDB的实战技能,解决企业级应用中的复杂问题!
Jan123.
·
2025-03-02 00:55
gaussdb
学习
Sharding-Sphere vs Mycat vs TiDB
数据库那般高效利用中间件模式SQL解析、执行计划优化等在中间件与数据库中重复工作,效率相比较低分布式事务相比于XA进行了优化,性能更高基于paxos(或Raft)协议的多副本,实现了真正的高可用、高可靠天生支持数据
分片
木一番
·
2025-03-01 18:12
分库分表
TiDB
每个索引大概有多少个
分片
?
Elasticsearch生产集群部署架构及面试解析在后端面试中,Elasticsearch(ES)是一个经常被问到的技术点,尤其是涉及到生产环境的部署架构。面试官往往希望通过这个问题来验证你是否有真正的生产经验,而不仅仅是玩过一些Demo。如果你对ES的生产环境一无所知,可能会在这个问题上暴露短板。因此,提前了解并掌握一些基本的生产环境参数,对于面试至关重要。一、为什么面试官会问这个问题?面试官
忍者算法
·
2025-03-01 18:40
elasticsearch
架构
大数据
数据库必知必会系列:数据库
分片
与分布式事务
文章目录1.背景介绍分库分表
分片
集群分布式事务数据迁移2.核心概念与联系主从复制活动复制CAP原则BASE理论3.核心算法原理和具体操作步骤以及数学模型公式详细讲解分库分表水平分表垂直分库
分片
集群垂直拆分水平切分垂直切分水平拆分根据主键范围根据业务字段划分分布式事务两阶段提交协议三阶段提交协议可靠消息最终一致性
AI天才研究院
·
2025-03-01 03:51
AI大模型企业级应用开发实战
大数据
人工智能
语言模型
Java
Python
架构设计
Redis Cluster集群详解
数据
分片
(Sharding)哈希槽(HashSlot)机制:集群将数据划分为16384个哈希槽,每个键通过CRC16(key)%16384计算归属的槽。
高冷小伙
·
2025-02-28 10:21
redis
数据库
缓存
ZeRO分布式训练策略
ZeRO通过三级
分片
策略消除内存冗余,实现超大规模模型训练。其核心演进路线分为三个阶段:1.1ZeRO-1:优化器状态
分片
分片
对象:优化器参数(如Ad
AIGC_ZY
·
2025-02-28 02:13
大模型
分布式
mycat 分布式mysql_MySQL 部署分布式架构 MyCAT (五)
分片
(水平拆分)4.全局表业务使用场景:如果你的业务中有些数据类似于数据字典,比如配置文件的配置,常用业务的配置或者数据量不大很少变动的表,这些表往往不是特别大,而且大部分的业务场景都会用到,那么这种表适合于
weixin_39782573
·
2025-02-27 12:19
mycat
分布式mysql
Redis面试题----为什么要做Redis分区?
Redis分区,也称为
分片
(Sharding),是将数据分散存储到多个Redis实例上的一种策略。
指尖下的技术
·
2025-02-27 08:54
Java面试题
redis
java
数据库
Spark Streaming 容错机制详解
它通过微批处理(micro-batch)的方式将实时流数据进行
分片
处理,每个批次的计算本质上是Spark的批处理作业。
goTsHgo
·
2025-02-26 04:20
spark-streaming
大数据
分布式
spark-streaming
大数据
分布式
MongoDB副本集与
分片
综合应用
一、MongoDB副本集1.1、MongoDB复制在mongodb学习阶段,一般用的都是单台服务器,一个mongod服务进程。如果仅仅作为学习开发是可以的,但是如果用到生产环境,风险会很高,例如服务器崩溃、硬件出现问题,最坏的情况是磁盘或网络出问题可能会导致数损坏或数据不可访问。MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可
李明一.
·
2025-02-26 01:26
mongodb
数据库
Elasticsearch索引设计与
分片
策略深度优化-手记
一、索引设计的黄金法则(从踩坑到精通的必经之路)1.字段类型显式声明原则动态映射是新手最易踩的坑,某金融平台曾因金额字段被自动识别为text类型,导致聚合查询时触发OOM。正确做法应显式声明核心字段:PUT/financial_transactions{"mappings":{"dynamic":false,//关闭动态映射"properties":{"txn_id":{"type":"keywo
一起学开源
·
2025-02-25 10:15
数据库
运维
elasticsearch
大数据
搜索引擎
全文检索
Elasticsearch安装与应用
本文将详细介绍Elasticsearch的安装使用、
分片
机制以及其它相关功能。一、Elasticsearch的安装Ela
伟大无须多言
·
2025-02-24 23:24
jenkins
运维
支持增量备份、Redis
分片
集群继续优化...还有更多Addon功能优化等你体验!
KubeBlocksv0.9.3正式发布啦!本次发布包含了一些新功能、关键的错误修复以及各种改进,继续优化数据库管理体验。更多新功能等您探索!以下是详细的更新内容。升级指南指路:https://cn.kubeblocks.io/docs/preview/user-docs/upgrade-kubeb...KubeBlocks新特性MemberJoinAction:生命周期操作支持memberjoi
·
2025-02-24 14:30
基于springboot断点续传或
分片
上传
前言在做文件上传,尤其是大文件上传过程中,比如大视频等,经常会碰到这么一种情况,就是用户希望这一次没有上传完,或者中途因为网络原因上传失败了,下一次继续上传的时候可以接着上次没有传完的地方继续上传,这样既可以保证上传的进度,又不用重新上传,避免耗时的等待,这个需求该怎么实现呢?思路分析大体来说,可以分为下面几步进行思考对于前端页面来说,考虑到一次上传大文件后端可能承受不住压力,就需要将文件进行分段
小码农叔叔
·
2025-02-24 10:47
springboot相关
springboot
入门到精通
java断点续传或分片上传
java断点续传
分布式之Gossip协议
Gossip协议参考:Gossip协议详解|JavaGuideRedis进阶-高可拓展:
分片
技术(RedisCluster)详解|Java全栈知识体系Redis如何通过Gossip协议进行通信的?
点滴~
·
2025-02-24 05:46
分布式
2.ELK之Elasticsearch常用DSL语句(kibana语句)
零、ES基本操作1、查看索引/mapping2、查看集群健康状态3、查询ES中所有的index4、删除索引5、查看索引的
分片
情况6、根据docid查询文档7、常规查找——在/index/type中查找8
焱齿
·
2025-02-22 23:04
elk
elasticsearch
文件
分片
上传 python
服务端功能上传
分片
保存@app.route('/upload_filesliceprocess',methods=['POST'])defupload_filesliceprocess():file=request.files
wu_jing_sheng0
·
2025-02-22 22:24
python
前端
开发语言
19、《Springboot+MongoDB整合:玩转文档型数据库》
通过15+个典型代码示例,演示如何高效操作文档数据库,深入剖析MongoTemplate与MongoRepository的差异化使用场景,提供索引优化方案与
分片
集群配置实战经验,最后针对生产环境常见问题给出解
wolf犭良
·
2025-02-22 17:50
SpringBoot
数据库
spring
boot
mongodb
前端大文件上传
因此,通常需要采用
分片
上传、断点续传、并发控制等技术来优化上传体验”2.核心实现方案“我通常会采用以下方案来实现大文件上传:文件
分片
:将大文件切割成固定大小的块(例如1MB或5MB),通过Blob.slice
爱学习的前端er
·
2025-02-22 11:28
前端
RocketMQ结构介绍
每个Broker在实际部署过程中对应一台服务器,每个Broker可以存储多个Topic的消息,每个Topic的消息也可以
分片
存储于不同的Broker。
北漂人Java
·
2025-02-22 07:26
消息中间件
rocketmq
三大平台云数据库生态服务对决
title:三大平台云数据库生态服务对决date:2025/2/21updated:2025/2/21author:cmdragonexcerpt:包含自动
分片
算法实现、跨云迁移工具链开发、智能索引推荐系统构建等核心内容
·
2025-02-21 14:03
以太网协议介绍
以太网主要协议关系介绍二.协议介绍及帧结构2.1媒体访问控制子层协议MAC2.2地址解析协议ARP2.2.1ARP帧结构2.2.2ARP协议工作原理2.3网际互连协议IP2.3.1IP协议帧2.3.2IP数据报
分片
重组
归宿688
·
2025-02-20 07:47
软件开发
自动驾驶
网络协议
区块链前沿技术深度洞察:开启数字信任新时代
一、可扩展性突破:
分片
与Layer2解决方案随着区块链应用的日益广泛,可扩展性成为亟待解决的关键问题。
分片
技术作为以太坊2.0的核心
·
2025-02-19 15:36
mongodb
分片
集群搭建
环境准备操作系统:centos6.5mongodb版本:v3.6.23三台阿里云服务器:10.168.2.138、10.168.4.204、10.168.4.205搭建目标两个
分片
复制集(ShardedReplicaSet
不会写诗的程序猿
·
2025-02-19 11:59
mongodb
数据库
大数据
mongoDB
分片
集群部署
一、MongoDB背景MongoDB是一款功能完善的分布式文档数据库,是一款非常出名的NoSQL数据库。当前国内使用Mongodb的大型实践越来越多,MongoDB为我司提供了重要的数据库存储服务,支撑着每天近千万级QPS峰值读写,数万亿级数据量存储服务。MongoDB在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有很大优势。近些年,MongoDB在DB-Engines流行度排
glnullops
·
2025-02-19 11:57
运维
mongodb
数据库
nosql
Centos7 搭建Mongodb
分片
集群4.0/ PSA(三成员副本集)
MongoDB简介:1、优点和缺点:2、MongoDB适用的业务场景:Centos7搭建Mongodb
分片
集群一、安装MongoDB社区版4.01、配置程序包管理系统(`yum`)2、安装对应版本的MongoDB
乱蹦的小鱼干
·
2025-02-19 10:21
MongoDB
mongodb
数据库
多实例部署mongodb
分片
集群架构(mongodb sharding cluster)
一、介绍1.Shard(
分片
)功能:存储实际的数据副本。每个shard是一个MongoDB副本集,副本集内部可以有多个节点,以确保数据的高可用性和容错能力。
信仰圣光么
·
2025-02-19 09:19
mongodb
架构
数据库
Redis Cluster入门指南:原来分布式缓存可以这么简单!
不是让收银员007加班,而是:增加多个收银台(
分片
存储)每个收银台配备备
weixin_42587823
·
2025-02-19 05:48
数据库
缓存
redis
分布式
Join字段类型超容易上手的好吧(Elasticsearch)
在Elasticsearch中Join不能跨索引和
分片
,所以保存文档信息时要保证父子文档使用相同的路由参数来保证父文
籽麟网络
·
2025-02-18 20:11
elasticsearch
大数据
搜索引擎
记一次生产事故:MongoDB数据分布不均的解决方案
一共有8个
分片
,面对这个情况我首先想到的是手动拆分数据块,但这不是解决此问题的根本办法。
悲伤荷包蛋hb
·
2025-02-18 02:33
mongodb
github
数据库
MongoDB
分片
集群搭建及扩容
准备工作在CentOS7上安装MongoDB
分片
集群6Servers代表:6台服务器上都要操作.环境准备On6Servers给虚拟机设置静态IPvi/etc/sysconfig/network-scripts
老虎大人
·
2025-02-18 02:29
redis sentinel模式 与 redis
分片
集群 配置
模式高可用性数据
分片
部署复杂度适用场景Sentinel模式高无中等中小规模,需要高可用性集群模式高支持复杂大规模,需要高可用性和数据
分片
RedisSentinel模式(在主从复制的基础上引入Sentinel
癸酉金鸡
·
2025-02-17 22:36
redis
sentinel
数据库
在nodejs中使用RabbitMQ(六)sharding消息
分片
RabbitMQ的
分片
插件(rabbitmq_sharding)允许将消息分布到多个队列中,这在消息量很大或处理速度要求高的情况下非常有用。
konglong127
·
2025-02-17 03:26
nodejs
rabbitmq
分布式
【Elasticsearch】
分片
与副本机制:优化数据存储与查询性能
博主简介:CSDN博客专家,历代文学网(PC端可以访问:https://literature.sinhy.com/#/?__c=1000,移动端可微信小程序搜索“历代文学”)总架构师,15年工作经验,精通Java编程,高并发设计,Springboot和微服务,熟悉Linux,ESXI虚拟化以及云原生Docker和K8s,热衷于探索科技的边界,并将理论知识转化为实际应用。保持对新技术的好奇心,乐于分
程风破~
·
2025-02-16 09:38
Elasticsearch
Elasticsearch实战
elasticsearch
大数据
搜索引擎
集群与
分片
:深入理解及应用实践
集群的定义集群的类型什么是
分片
?
一休哥助手
·
2025-02-16 09:07
架构
系统架构
深入理解Elasticsearch集群与
分片
:原理及配置方案
二、
分片
是什么主
分片
:还是以图书
一勺菠萝丶
·
2025-02-16 08:34
#
ELK
Java
elasticsearch
大数据
搜索引擎
java 缓存篇2
缓存的部署方式单机主从哨兵集群特性主从(Master-Slave)哨兵(Sentinel)集群(Cluster)数据
分片
不支持不支持支持,基于slot进行水平
分片
高可用性部分支持(手动故障转移)高可用性
dzl84394
·
2025-02-16 06:48
java
缓存
开发语言
数据库扩展之道:分区、
分片
与大表优化实战
title:数据库扩展之道:分区、
分片
与大表优化实战date:2025/2/15updated:2025/2/15author:cmdragonexcerpt:随着数据量的爆炸式增长,传统单机数据库的性能和存储能力逐渐成为瓶颈
·
2025-02-15 18:23
ClickHouse创建分布式表
ClickHouse创建分布式表当数据量剧增的时候,clickhouse是采用
分片
的方式进行数据的存储的,类似于redis集群的实现方式。
期待着2013
·
2025-02-15 06:41
clickhouse
数据库
往es中写入一条数据的,请求流程
往Elasticsearch(ES)中写入一条数据的请求流程涉及多个步骤,包括客户端请求、节点处理、数据
分片
和副本同步等。以下是详细的流程解析。
C18298182575
·
2025-02-14 09:01
elasticsearch
大数据
搜索引擎
Elasticjob在同一个实例上运行的多个
分片
任务
一、#创作灵感#elasticjob在同一个实例上运行的多个
分片
任务(实例数量小于
分片
数量)很多贴子、AI说可以实际不可以,很可能是官方说明翻译时出现了误差每个
分片
由一个独立的作业服务器执行,可以同时处理多个
分片
飞火流星02027
·
2025-02-13 02:03
#
云计算
云原生
微服务
同一实例执行多个分片任务
同一机器执行多个分片任务
ElasticJob
定时任务分片
ElasticJob作业分片
多个分片在同一个实例上执行
分布式任务调度框架
Elasticsearch 监控指标概览:关键维度全知晓
文章目录前言:监控Elasticsearch集群的重要性1、集群健康维度:
分片
和节点2、搜索性能维度:请求率和延迟3、索引性能维度:刷新(refresh)和合并(Merge)时间4、节点运行状况维度:内存
磐基Stack专业服务团队
·
2025-02-12 19:35
elasticsearch
jenkins
大数据
华为云数据库DDS产品深度赋能
产品深度赋能,主要面向DA、交付、一线、二线数据库从业者,针对DDS常见问题及产品特性进行介绍,涉及:产品特性介绍、产品使用场景介绍、产品常见问题介绍、DDS实例使用规范及最佳实践介绍、DDS副本集内部机制和
分片
集群内部原理介绍等
程思扬
·
2025-02-12 12:50
华为云开发进阶
数据库
华为云
nosql
RocketMQ实战—10.营销系统代码优化
大纲1.营销系统引入MQ实现异步化来进行性能优化2.基于MQ释放优惠券提升系统扩展性3.基于Redis实现重复促销活动去重4.基于促销活动创建事件实现异步化5.推送任务
分片
和
分片
消息batch合并发送实现
东阳马生架构
·
2025-02-12 00:50
RocketMQ原理与应用
rocketmq
营销系统
clickhouse集群方案及表引擎最佳实践
数据一致性问题某些云服务厂商提供的其实是单机版,比如某个集群单
分片
,两副本,但其实只开放一台机器的ip和端口,所有读写都在一台机器上,这样就没有数据一致性问题,但这不是正确的集群,这种单机使用中建表都不需要
yangls的技术博客
·
2025-02-09 13:42
大数据
【文件上传、秒传、
分片
上传、断点续传、重传】
文章目录获取文件对象文件上传(秒传、
分片
上传、断点续传、重传)优化获取文件对象input标签的onchange方法接收到的参数就是用户上传的所有文件文件上传#inputFile,#inputDirectory
CaraYQ
·
2025-02-09 07:32
实践
javascript
前端
vue.js
NoSQL 数据库有哪些类型?
并且,NoSQL数据库天生支持分布式,数据冗余和数据
分片
等特性,旨在提供可扩展的高可用高性能数据存储解决方案。一个常见的误解是NoSQL数据库或非关系型数据库不能很好地
HUNAG-DA-PAO
·
2025-02-09 07:02
数据库
nosql
分布式计算框架
分布式计算就是为了把多个计算逻辑能够放到多台机器上执行,执行的逻辑一般使用java或者python等,还牵扯到数据如何
分片
。
wlstephenw
·
2025-02-08 15:03
分布式
分布式数据库缓存的基本概念?MemCache和redis的详细比较?
目前市场上常见的数据库缓存系统是MemChace和Redis,他们的主要区别如下:MemChace:数据类型是简单的key/value结构,不支持持久性,分布式存储为客户端哈希
分片
/一致性哈希,支持多线程
mischen520
·
2025-02-07 11:24
软考高级系统架构师
分布式缓存框架
缓存
redis
数据库
DB分布式 思维导图-java架构 代码示例
核心概念
分片
(Sharding):将数据水平分割成多个部分存储于不同的节点上
用心去追梦
·
2025-02-06 11:08
数据库
分布式
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他