分片

GaussDB 学习实战指南：从部署到高并发优化的全流程解析

本文将以实战操作为核心，覆盖集群部署、数据分片、性能调优、容灾备份、云上迁移五大场景，通过真实案例与代码示例，助你快速掌握GaussDB的实战技能，解决企业级应用中的复杂问题！
Jan123.·2025-03-02 00:55

Sharding-Sphere vs Mycat vs TiDB

数据库那般高效利用中间件模式SQL解析、执行计划优化等在中间件与数据库中重复工作，效率相比较低分布式事务相比于XA进行了优化，性能更高基于paxos（或Raft）协议的多副本，实现了真正的高可用、高可靠天生支持数据分片
木一番·2025-03-01 18:12

每个索引大概有多少个分片？

Elasticsearch生产集群部署架构及面试解析在后端面试中，Elasticsearch（ES）是一个经常被问到的技术点，尤其是涉及到生产环境的部署架构。面试官往往希望通过这个问题来验证你是否有真正的生产经验，而不仅仅是玩过一些Demo。如果你对ES的生产环境一无所知，可能会在这个问题上暴露短板。因此，提前了解并掌握一些基本的生产环境参数，对于面试至关重要。一、为什么面试官会问这个问题？面试官
忍者算法·2025-03-01 18:40

数据库必知必会系列：数据库分片与分布式事务

文章目录1.背景介绍分库分表分片集群分布式事务数据迁移2.核心概念与联系主从复制活动复制CAP原则BASE理论3.核心算法原理和具体操作步骤以及数学模型公式详细讲解分库分表水平分表垂直分库分片集群垂直拆分水平切分垂直切分水平拆分根据主键范围根据业务字段划分分布式事务两阶段提交协议三阶段提交协议可靠消息最终一致性
AI天才研究院·2025-03-01 03:51

Redis Cluster集群详解

数据分片（Sharding）哈希槽（HashSlot）机制：集群将数据划分为16384个哈希槽，每个键通过CRC16(key)%16384计算归属的槽。
高冷小伙·2025-02-28 10:21

ZeRO分布式训练策略

ZeRO通过三级分片策略消除内存冗余，实现超大规模模型训练。其核心演进路线分为三个阶段：1.1ZeRO-1：优化器状态分片分片对象：优化器参数（如Ad
AIGC_ZY·2025-02-28 02:13

mycat 分布式mysql_MySQL 部署分布式架构 MyCAT (五)

分片(水平拆分)4.全局表业务使用场景：如果你的业务中有些数据类似于数据字典，比如配置文件的配置，常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，而且大部分的业务场景都会用到，那么这种表适合于
weixin_39782573·2025-02-27 12:19

Redis面试题----为什么要做Redis分区？

Redis分区，也称为分片（Sharding），是将数据分散存储到多个Redis实例上的一种策略。
指尖下的技术·2025-02-27 08:54

Spark Streaming 容错机制详解

它通过微批处理（micro-batch）的方式将实时流数据进行分片处理，每个批次的计算本质上是Spark的批处理作业。
goTsHgo·2025-02-26 04:20

MongoDB副本集与分片综合应用

一、MongoDB副本集1.1、MongoDB复制在mongodb学习阶段，一般用的都是单台服务器，一个mongod服务进程。如果仅仅作为学习开发是可以的，但是如果用到生产环境，风险会很高，例如服务器崩溃、硬件出现问题，最坏的情况是磁盘或网络出问题可能会导致数损坏或数据不可访问。MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可
李明一.·2025-02-26 01:26

Elasticsearch索引设计与分片策略深度优化-手记

一、索引设计的黄金法则（从踩坑到精通的必经之路）1.字段类型显式声明原则动态映射是新手最易踩的坑，某金融平台曾因金额字段被自动识别为text类型，导致聚合查询时触发OOM。正确做法应显式声明核心字段：PUT/financial_transactions{"mappings":{"dynamic":false,//关闭动态映射"properties":{"txn_id":{"type":"keywo
一起学开源·2025-02-25 10:15

Elasticsearch安装与应用

本文将详细介绍Elasticsearch的安装使用、分片机制以及其它相关功能。一、Elasticsearch的安装Ela
伟大无须多言·2025-02-24 23:24

支持增量备份、Redis分片集群继续优化...还有更多Addon功能优化等你体验！

KubeBlocksv0.9.3正式发布啦！本次发布包含了一些新功能、关键的错误修复以及各种改进，继续优化数据库管理体验。更多新功能等您探索！以下是详细的更新内容。升级指南指路：https://cn.kubeblocks.io/docs/preview/user-docs/upgrade-kubeb...KubeBlocks新特性MemberJoinAction：生命周期操作支持memberjoi
·2025-02-24 14:30

基于springboot断点续传或分片上传

前言在做文件上传，尤其是大文件上传过程中，比如大视频等，经常会碰到这么一种情况，就是用户希望这一次没有上传完，或者中途因为网络原因上传失败了，下一次继续上传的时候可以接着上次没有传完的地方继续上传，这样既可以保证上传的进度，又不用重新上传，避免耗时的等待，这个需求该怎么实现呢？思路分析大体来说，可以分为下面几步进行思考对于前端页面来说，考虑到一次上传大文件后端可能承受不住压力，就需要将文件进行分段
小码农叔叔·2025-02-24 10:47

分布式之Gossip协议

Gossip协议参考：Gossip协议详解|JavaGuideRedis进阶-高可拓展：分片技术（RedisCluster）详解|Java全栈知识体系Redis如何通过Gossip协议进行通信的？
点滴~·2025-02-24 05:46

2.ELK之Elasticsearch常用DSL语句(kibana语句)

零、ES基本操作1、查看索引/mapping2、查看集群健康状态3、查询ES中所有的index4、删除索引5、查看索引的分片情况6、根据docid查询文档7、常规查找——在/index/type中查找8
焱齿·2025-02-22 23:04

文件分片上传 python

服务端功能上传分片保存@app.route('/upload_filesliceprocess',methods=['POST'])defupload_filesliceprocess():file=request.files
wu_jing_sheng0·2025-02-22 22:24

19、《Springboot+MongoDB整合：玩转文档型数据库》

通过15+个典型代码示例，演示如何高效操作文档数据库，深入剖析MongoTemplate与MongoRepository的差异化使用场景，提供索引优化方案与分片集群配置实战经验，最后针对生产环境常见问题给出解
wolf犭良·2025-02-22 17:50

前端大文件上传

因此，通常需要采用分片上传、断点续传、并发控制等技术来优化上传体验”2.核心实现方案“我通常会采用以下方案来实现大文件上传：文件分片：将大文件切割成固定大小的块（例如1MB或5MB），通过Blob.slice
爱学习的前端er·2025-02-22 11:28

RocketMQ结构介绍

每个Broker在实际部署过程中对应一台服务器，每个Broker可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的Broker。
北漂人Java·2025-02-22 07:26

三大平台云数据库生态服务对决

title:三大平台云数据库生态服务对决date:2025/2/21updated:2025/2/21author:cmdragonexcerpt:包含自动分片算法实现、跨云迁移工具链开发、智能索引推荐系统构建等核心内容
·2025-02-21 14:03

以太网协议介绍

以太网主要协议关系介绍二.协议介绍及帧结构2.1媒体访问控制子层协议MAC2.2地址解析协议ARP2.2.1ARP帧结构2.2.2ARP协议工作原理2.3网际互连协议IP2.3.1IP协议帧2.3.2IP数据报分片重组
归宿688·2025-02-20 07:47

区块链前沿技术深度洞察：开启数字信任新时代

一、可扩展性突破：分片与Layer2解决方案随着区块链应用的日益广泛，可扩展性成为亟待解决的关键问题。分片技术作为以太坊2.0的核心
·2025-02-19 15:36

mongodb分片集群搭建

环境准备操作系统：centos6.5mongodb版本：v3.6.23三台阿里云服务器：10.168.2.138、10.168.4.204、10.168.4.205搭建目标两个分片复制集（ShardedReplicaSet
不会写诗的程序猿·2025-02-19 11:59

mongoDB分片集群部署

一、MongoDB背景MongoDB是一款功能完善的分布式文档数据库，是一款非常出名的NoSQL数据库。当前国内使用Mongodb的大型实践越来越多，MongoDB为我司提供了重要的数据库存储服务，支撑着每天近千万级QPS峰值读写，数万亿级数据量存储服务。MongoDB在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有很大优势。近些年，MongoDB在DB-Engines流行度排
glnullops·2025-02-19 11:57

Centos7 搭建Mongodb 分片集群4.0/ PSA（三成员副本集）

MongoDB简介：1、优点和缺点：2、MongoDB适用的业务场景：Centos7搭建Mongodb分片集群一、安装MongoDB社区版4.01、配置程序包管理系统（`yum`）2、安装对应版本的MongoDB
乱蹦的小鱼干·2025-02-19 10:21

多实例部署mongodb分片集群架构（mongodb sharding cluster）

一、介绍1.Shard（分片）功能:存储实际的数据副本。每个shard是一个MongoDB副本集，副本集内部可以有多个节点，以确保数据的高可用性和容错能力。
信仰圣光么·2025-02-19 09:19

Redis Cluster入门指南：原来分布式缓存可以这么简单！

不是让收银员007加班，而是：增加多个收银台（分片存储）每个收银台配备备
weixin_42587823·2025-02-19 05:48

Join字段类型超容易上手的好吧(Elasticsearch)

在Elasticsearch中Join不能跨索引和分片，所以保存文档信息时要保证父子文档使用相同的路由参数来保证父文
籽麟网络·2025-02-18 20:11

记一次生产事故：MongoDB数据分布不均的解决方案

一共有8个分片，面对这个情况我首先想到的是手动拆分数据块，但这不是解决此问题的根本办法。
悲伤荷包蛋hb·2025-02-18 02:33

MongoDB分片集群搭建及扩容

准备工作在CentOS7上安装MongoDB分片集群6Servers代表：6台服务器上都要操作.环境准备On6Servers给虚拟机设置静态IPvi/etc/sysconfig/network-scripts
老虎大人·2025-02-18 02:29

redis sentinel模式 与 redis 分片集群 配置

模式高可用性数据分片部署复杂度适用场景Sentinel模式高无中等中小规模，需要高可用性集群模式高支持复杂大规模，需要高可用性和数据分片RedisSentinel模式（在主从复制的基础上引入Sentinel
癸酉金鸡·2025-02-17 22:36

在nodejs中使用RabbitMQ（六）sharding消息分片

RabbitMQ的分片插件（rabbitmq_sharding）允许将消息分布到多个队列中，这在消息量很大或处理速度要求高的情况下非常有用。
konglong127·2025-02-17 03:26

【Elasticsearch】分片与副本机制：优化数据存储与查询性能

博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分
程风破～·2025-02-16 09:38

集群与分片：深入理解及应用实践

集群的定义集群的类型什么是分片？
一休哥助手·2025-02-16 09:07

深入理解Elasticsearch集群与分片：原理及配置方案

二、分片是什么主分片：还是以图书
一勺菠萝丶·2025-02-16 08:34

java 缓存篇2

缓存的部署方式单机主从哨兵集群特性主从（Master-Slave）哨兵（Sentinel）集群（Cluster）数据分片不支持不支持支持，基于slot进行水平分片高可用性部分支持（手动故障转移）高可用性
dzl84394·2025-02-16 06:48

数据库扩展之道：分区、分片与大表优化实战

title:数据库扩展之道：分区、分片与大表优化实战date:2025/2/15updated:2025/2/15author:cmdragonexcerpt:随着数据量的爆炸式增长，传统单机数据库的性能和存储能力逐渐成为瓶颈
·2025-02-15 18:23

ClickHouse创建分布式表

ClickHouse创建分布式表当数据量剧增的时候，clickhouse是采用分片的方式进行数据的存储的，类似于redis集群的实现方式。
期待着2013·2025-02-15 06:41

往es中写入一条数据的，请求流程

往Elasticsearch（ES）中写入一条数据的请求流程涉及多个步骤，包括客户端请求、节点处理、数据分片和副本同步等。以下是详细的流程解析。
C18298182575·2025-02-14 09:01

Elasticjob在同一个实例上运行的多个分片任务

一、#创作灵感#elasticjob在同一个实例上运行的多个分片任务（实例数量小于分片数量）很多贴子、AI说可以实际不可以，很可能是官方说明翻译时出现了误差每个分片由一个独立的作业服务器执行，可以同时处理多个分片
飞火流星02027·2025-02-13 02:03

Elasticsearch 监控指标概览：关键维度全知晓

文章目录前言：监控Elasticsearch集群的重要性1、集群健康维度：分片和节点2、搜索性能维度：请求率和延迟3、索引性能维度：刷新(refresh)和合并(Merge)时间4、节点运行状况维度：内存
磐基Stack专业服务团队·2025-02-12 19:35

华为云数据库DDS产品深度赋能

产品深度赋能，主要面向DA、交付、一线、二线数据库从业者，针对DDS常见问题及产品特性进行介绍，涉及：产品特性介绍、产品使用场景介绍、产品常见问题介绍、DDS实例使用规范及最佳实践介绍、DDS副本集内部机制和分片集群内部原理介绍等
程思扬·2025-02-12 12:50

RocketMQ实战—10.营销系统代码优化

大纲1.营销系统引入MQ实现异步化来进行性能优化2.基于MQ释放优惠券提升系统扩展性3.基于Redis实现重复促销活动去重4.基于促销活动创建事件实现异步化5.推送任务分片和分片消息batch合并发送实现
东阳马生架构·2025-02-12 00:50

clickhouse集群方案及表引擎最佳实践

数据一致性问题某些云服务厂商提供的其实是单机版，比如某个集群单分片，两副本，但其实只开放一台机器的ip和端口，所有读写都在一台机器上，这样就没有数据一致性问题，但这不是正确的集群，这种单机使用中建表都不需要
yangls的技术博客·2025-02-09 13:42

【文件上传、秒传、分片上传、断点续传、重传】

文章目录获取文件对象文件上传（秒传、分片上传、断点续传、重传）优化获取文件对象input标签的onchange方法接收到的参数就是用户上传的所有文件文件上传#inputFile,#inputDirectory
CaraYQ·2025-02-09 07:32

NoSQL 数据库有哪些类型?

并且，NoSQL数据库天生支持分布式，数据冗余和数据分片等特性，旨在提供可扩展的高可用高性能数据存储解决方案。一个常见的误解是NoSQL数据库或非关系型数据库不能很好地
HUNAG-DA-PAO·2025-02-09 07:02

分布式计算框架

分布式计算就是为了把多个计算逻辑能够放到多台机器上执行，执行的逻辑一般使用java或者python等，还牵扯到数据如何分片。
wlstephenw·2025-02-08 15:03

分布式数据库缓存的基本概念？MemCache和redis的详细比较？

目前市场上常见的数据库缓存系统是MemChace和Redis,他们的主要区别如下：MemChace：数据类型是简单的key/value结构，不支持持久性，分布式存储为客户端哈希分片/一致性哈希，支持多线程
mischen520·2025-02-07 11:24

DB分布式 思维导图-java架构 代码示例

核心概念分片(Sharding)：将数据水平分割成多个部分存储于不同的节点上
用心去追梦·2025-02-06 11:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他