分片+副本集

数据结构与算法之美学习笔记：22 | 哈希算法（下）：哈希算法在分布式系统中有哪些应用？

目录前言应用五：负载均衡应用六：数据分片应用七：分布式存储解答开篇&内容小结前言本节课程思维导图今天，我们再来看剩余三种应用：负载均衡、数据分片、分布式存储。
浊酒南街·2023-11-19 23:43

Redis集群分片原理

Redis集群分片原理集群的目的：横向伸缩。实现扩展数据库大小、带宽、计算能力。分片理解：类似数据库分库分表设计，需要实现分片路由。分片路由可以简单分为服务端路由、客户端路由或第三方服务路由。
bighome·2023-11-19 13:34

详解ShardingSphere新增的COSID分布式主键生成框架

应用单独生成3、第三方服务统一生成4、与第三方结合的segment策略四、定制雪花算法1、如影随形的时钟回拨问题2、用主键生成策略优化分配工作进程位3、从序列号字段定制雪花算法的连续性4、根据雪花算法扩展基因分片法五
roykingw·2023-11-19 10:57

Mongodb 删除集合数据后如何释放磁盘空间

如果您有许多大量集合需要压缩（或者想要尽可能的释放磁盘空间），请重新同步副本集的次要成员如果compact最终没有释放足够的空间，通过初始同步将通过复制另一个成员的数据来重建所有数据文件。
Ethanchen's notes·2023-11-19 09:36

ES在超多分片搜索场景下提升N倍 - 优化

es关于在集群中特大搜索范围的问题问题描述在大规模的es集群中，如果一次搜索行为，触发的命中的所以太多，或者涉及的分片太多，则会可能存在串行的动作。这会让搜索变得慢N倍。
水的精神·2023-11-19 07:09

ClickHouse的分片和副本

1.副本副本的目的主要是保障数据的高可用性，即使一台ClickHouse节点宕机，那么也可以从其他服务器获得相同的数据。DataReplication|ClickHouseDocs1.1副本写入流程1.2配置步骤（1）启动zookeeper集群（2）在hadoop102的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml的配置文件,内容如下：注：
shangjg3·2023-11-19 05:27

一致性解读

根据关键字进行分片，实现数据分布式，进一步提升系统的写性能。以上两种方式最复杂的问题就是如何保证一致性。一致性问题一直以来都是分布式系统的痛点，因为本身一致性的场景有很多
诗人不写诗·2023-11-19 03:12

分布式任务调度-XXL-job

yml配置使用架构config配置job使用快速入门使用任务调度执行器任务调度执行管理编辑配置文件为执行器的AppName使用任务调度的注解：任务管理的执行器handler轮询策略切换不同的端口号编辑分片广播源码仓库地址
春来我不先开口，哪个虫儿敢作声?·2023-11-19 03:36

【入门篇】1.7 Redis 之 codis 入门介绍

的安装与配置下载编译源码安装1.安装Go运行环境2.设置编译环境3.下载Codis源代码4.编译Codis源代码Docker部署3.Codis的架构Codis的架构图和组件Codis的工作流程4.Codis的核心特性自动数据分片数据迁移高可用性全面支持
冰点.·2023-11-19 01:42

Flink Managed Keyed State

您可以将“键控状态”视为已分区或分片的操作员状态，每个键仅具有一个状态分区。每个键状态在逻辑上都绑定到的唯一组合，并且由于每个键“都”完全属于键操作符的一个并行实例，因此我们可以简单地将其视为。
姜同学的学习笔记·2023-11-19 01:38

大文件分片上传、断点续传、秒传

小文件上传后端：SpringBoot+JDK17前端：JavaScript+spark+md5.min.js一、依赖org.springframework.bootspring-boot-starter-parent3.1.2com.exampleuploadDemo0.0.1-SNAPSHOTuploadDemouploadDemo17org.springframework.bootspring
A尘埃·2023-11-18 22:33

计算机网络学习22：IPv4数据报首部格式

分片展示该IP数据报的总长为3820字节。假设使用以太网传送，以太网最大传送单元为150字节（MTU），也就是以太网的数据载
程序员洲洲·2023-11-18 19:03

详解 ipv4 数据报头格式

第二个32位字的大部分用于IPv4分片功能。头部校验和有助于确保头部字段被正确发送到目的地。版本（Version）版本字段指定了IP数据报中使用的IP协议版本，占四位。
星辰流炎·2023-11-18 19:28

计算机网络（18）——IPv4 数据报格式及分片

文章目录IPv4数据报IPv4数据报格式IP数据报分片因特网网络层包括三个主要组件：①IP协议；②路由选择部分，它决定了数据分组从源到目的所流经的路径，由路由选择协议计算出用于网络中转发分组的转发表；③ICMP
W24-·2023-11-18 18:55

Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）

文章目录一、内存估算1.1GradioDemos1.2TheCommand二、使用Accelerate加载超大模型2.1模型加载的常规流程2.2加载空模型2.3分片检查点（Shardedcheckpoints
神洛华·2023-11-17 06:25

云ES容灾方案

单可用区故障，云ES集群依然可能对外提供服务；两个可用区故障，需要进行控制台切流（集群会自动切的选择主节点）应用服务部署在二个可用区，单可用区故障，依然可对提供服务1.2海外代购ES集群架构1.3海外代购ES分片
有恒则成·2023-11-17 05:52

ES7.x 新特性与重大变化

默认配置5个分片，改为1个分片。使用Lucene8，改进了top-k查询的搜索性能。更好的主节点选举能力，减少脑裂的风险。降低选举的的时间。
有恒则成·2023-11-17 05:51

【系统架构设计】架构核心知识： 3.5 Redis和ORM

目录一Redis1Redis与MemCache2Redis分布式存储方案3Redis集群切片的方式4Redis数据分片
Jackilina_Stone·2023-11-17 04:08

IP分片--为什么单次最大传输1472个字节

UDP传输的时候，每次接收的最大字节数为1472个字节，然后数据就会被分包，重新进行发送，在进行数据接收的时候，经常会遇到本次数据还没有接收完，数据就被分包的情况，那么为什么是1472个字节对数据进行分片呢
Z小旋·2023-11-17 03:32

大数据-hadoop HA

数据一致好掌握问题：单点故障，集群整体不可用压力过大，内存受限HDFS解决方案：单点故障：高可用方案：HA（HighAvailable）多个NN，主备切换，主压力过大，内存受限：联帮机制：Federation（元数据分片
Ybb_studyRecord·2023-11-17 03:26

redis之安装部署

单机部署1.1、redis-6.2.12下载安装1.2、查看服务进程2、redis-6.2.12主从+哨兵部署3、redis-6.2.12Cluster部署1、Redis群集TCP端口1、Redis群集数据分片
Michael_lcf·2023-11-17 02:11

Spring Boot+VUE分片上传大文件到OSS服务器解决方案

根据项目需要，在很多地方都需要将超大文件上传到服务器，特别是将视频文件上传到云平台的OSS服务器上，这种需求在项目中已经是十分普遍的需求了。在网上收集了很多资料，基本上都只有JAVA到OSS服务器，或都VUE前端服务端到SpringBoot后端服务器。当前前后端开发已经十分普及了，大文件一般都保存到OSS服务器，不会保存到自己的业务服务器，OSS大文件服务器+tomcat为业务服务器+VUE/Ra
海盐老伍·2023-11-16 23:28

JavaScript下载文件、音频、视频的方式

如果要对大数据量或者需要分片下载、上传等操作，可以考虑Blob对象。
云隙阳光i·2023-11-16 10:41

kafka集群与redis集群的概念对应关系

近期在接触kafka，发现kafka的一些概念与redis中的概念类似，整理如下kafka集群redis集群消息划分多主题无主题概念，可以看做对数据没有做区分，即只有一个存储区域划分多分区多分片冗余机制多副本
zlpzlpzyd·2023-11-16 09:40

mysql分片后影响备份吗_光大银行分布式实战：国内最大缴费平台的数据库架构转型...

本文根据于树文老师在〖deeplus直播第231期〗线上分享演讲内容整理而成。(文末有获取本期PPT&回放的方式，不要错过)于树文光大银行资深DBA目前在中国光大银行信息科技部数据库管理团队主要负责分布式数据库建设项目，推进行内技术架构转型等相关工作。从事数据库运维管理工作十余年，在数据库的性能优化，升级迁移，高可用容灾等方面具有丰富经验。我今天分享的主题是《高并发场景下，光大银行分布式数据库的架
weixin_39934085·2023-11-15 23:15

Elasticsearch（ES）入门学习

二、基本概念2.1索引（indices）2.2类型（type）2.3文档（document）2.4字段（field）三、集群基础概念3.1cluster(集群)3.2shards(分片)3.3replicas
一只慵懒的猫z·2023-11-15 20:43

linux 解压缩 压缩 分片压缩（tar tar.gz zip rar 7z）

Linux默认装的有gzip，可以直接解压tar、tar.gz查看右侧的目录快速找到需要的格式一、tar、tar.gz格式（一）软件安装tar通常情况是系统默认安装的apt-getinstalltar（二）解压缩命令1.解压.tartar-zxvffilename.tar2.解压.tar.gztar-zcvffilename.tar.gz（三）压缩命令1.压缩为.tar将file1和目录direc
ziqibit·2023-11-15 16:43

python中split的用法取第二个分片_Python中split()函数的用法及实际使用示例

Python中split()函数，通常用于将字符串切片并转换为列表。一、函数说明：split()：语法：str.split(str="",num=string.count(str))[n]拆分字符串。通过制定分隔符将字符串进行切片，并返回分割后的字符串列表[list]参数：str：分隔符，默认为空格，但不能为空("")num:表示分割次数。如果指定num，则分割成n+1个子字符串，并可将每个字符串
weixin_39622150·2023-11-15 13:52

算法之哈希算法

哈希函数的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储问题总结：参考资料前言哈希算法和散列函数其实很多同学可能会混淆，一头雾水，其实散列函数只是哈希算法的一种实践应用。
遇见更好的自己、·2023-11-15 13:35

超越任务调度的极致：初探分布式定时任务 XXL-JOB 分片广播

XXL-JOB是一个分布式任务调度平台，支持分片任务执行。1.依赖引入在项目中引入XXL-JOB的相关依赖。
鲨鱼辣椒不吃辣c·2023-11-15 09:01

AWS-S3通用存储操作，操作minio、oss、cos等所有兼容s3协议的云存储（含有大文件分片上传实现）

一、介绍通用存储操作common包，支持所有兼容amazon-s3协议的云存储，如minio、oss、cos等，以后客户用啥云储存一套代码都能搞定了，真棒~二、代码结构三、代码实现3.1pom.xmlsay-common-ossaws-java-sdk-s3com.amazonaws${aws.version}spring-weborg.springframeworklombokorg.proje
say荣帅·2023-11-15 07:06

Redis搭配RedisTemplate实现分布式锁实战实例

原因是：可能是由于Redis的主从复制或者分片集群等机制导致的。在主从复制或者分片集群中，可能会发生多个节点同时订阅了相同的键空间通知，从而导致同一个键空间事件被多次触发。
持键写浮生·2023-11-15 06:04

一个Demo搞定前后端大文件分片上传、断点续传、秒传

1前言文件上传在项目开发中再常见不过了，大多项目都会涉及到图片、音频、视频、文件的上传，通常简单的一个Form表单就可以上传小文件了，但是遇到大文件时比如1GB以上，或者用户网络比较慢时，简单的文件上传就不能适用了，用户辛苦传了好几十分钟，到最后发现上传失败，这样的系统用户体验是非常差的。或者用户上传到一半时，把应用退出了，下次进来再次上传，如果让他从头开始传也是不合理的。本文主要通过一个Demo
小小码农>>>>·2023-11-15 05:28

MongoDB 面试题

如果在一个分片（shard）停止或者很慢的时候,我
青鱼入云·2023-11-14 21:46

RocketMQ基本概念

）生产者组（Producer-Group）消费者（Consumer）消费者组（Consumer-Group）消息代理（Broker）消息队列（Queue）Broker-Topic-Queue的关联以及分片的概念分片命名服务
三文鱼先生·2023-11-14 17:51

ElasticSearch---查询es集群状态、分片、索引

查看es集群状态：curl-XGEThttp://localhost:9200/_cat/health?v如果?后面加上pretty，能让返回的json格式化。加上?v的返回结果，如下：epochtimestampclusterstatusnode.totalnode.datashardsprireloinitunassignpending_tasksmax_task_wait_timeactiv
乐之者v·2023-11-14 09:04

TS流中BAT与SDT等表的解析

由于传输的文件比较大，文件分片传输，形成包（也可以叫帧）；由各个包组合在一起，就能形成这完整的文件。
wu694128·2023-11-14 08:45

Redis05-集群方案

目录Redis集群方案主从复制主从复制的基本原理主从复制的工作流程乐观复制主从复制的优势哨兵机制哨兵的关键作用服务状态监控哨兵选举Master规则分片集群分片集群中的数据读写数据写入数据读取一致性哈希和客户端分片
Elaine202391·2023-11-14 08:08

MongoDB副本集配置和创建

副本集有三类角色：master(primary)，slave(secondary)，仲裁服务器。
ZzzkiYoumi·2023-11-14 08:34

Redis集群，你真的学会了吗？

目录1、为什么引入集群1.1、先来了解集群是什么1.2、哨兵模式的缺陷+引入集群解决了什么问题1.3、使用集群，如何存储数据2、三种主流的分片方式【经典面试题】2.1、哈希求余算法2.1.1、哈希求余算法的介绍
龙洋静·2023-11-14 02:58

Elasticsearch curl操作

v'查看索引分片:curl-u'elastic:xxxx'-XGET'192.168.x.x:9200/_cat/indices?
Dream答案·2023-11-14 00:50

ElasticSearch---查询es集群状态、分片、索引

查看es集群状态：curl-XGEThttp://localhost:9200/_cat/health?v如果?后面加上pretty，能让返回的json格式化。加上?v的返回结果，如下：epochtimestampclusterstatusnode.totalnode.datashardsprireloinitunassignpending_tasksmax_task_wait_timeactiv
乐之者v·2023-11-13 15:04

分布式数据库系统期末复习

期末复习写在最前面一、分布式数据库系统概述DDBS基本概念作用和特点优缺点二、分布式数据库系统的结构体系结构：有哪几种类型模式结构（从数据角度分析）组件结构（从功能）三、分布式数据库设计数据分片定义分片类型分片作用分配设计分片原则
是Yu欸·2023-11-13 14:51

Day10:YARN与Hive入门

优秀是一种习惯知识点01：回顾知识点02：目标知识点03：MapReduce补充：分片规则知识点04：MapReduce补充：ReduceJoin知识点05：MapReduce补充：MapJoin知识点
人间清醒vv子·2023-11-13 12:08

Redis集群数据分片机制说明

Redis集群简介RedisCluster是Redis的分布式解决方案，在3.0版本正式推出，有效地解决了Redis分布式方面的需求。RedisCluster一般由多个节点组成，节点数量至少为6个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。如上图所示，该集群中包含6个Redis节点，3主3从，分别为
漫天雪_昆仑巅·2023-11-13 09:47

Redis核心技术与实战

Redis三大主线高性能主线，包括线程模型、数据结构、持久化、网络框架；高可靠主线，包括主从复制、哨兵机制；高可扩展主线，包括数据分片、负载均衡。
IT--Fly·2023-11-13 05:51

MongoDB单实例安装(Linux)

mysql是关系型数据库mongodb是面向文档存储的非关系型数据库，数据以json的格式进行存储mongodb可用来永久存储，也可用来缓存数据mongodb提供副本集和分片集群功能，操作简单mongodb
ZzzkiYoumi·2023-11-13 00:04

elastic-job 完结篇

一elastic-job1.1案例场景分析1.设置4个分片，10秒执行一次。
健康平安的活着·2023-11-12 23:27

ElasticSearch7.x - HTTP 操作 - 索引操作

PUT请求：http://192.168.254.101:9200/shopping说明{"acknowledged"【响应结果】:true,#true操作成功"shards_acknowledged"【分片结果
Java橙旭源·2023-11-12 15:35

K8S 部署mongoDB 6.0 分片集群 —— 筑梦之路

#vimmongodb-sharded-cluster-Secret.yamlapiVersion:v1kind:Secretmetadata:name:mongodb-sharded-clusternamespace:"default"labels:app.kubernetes.io/name:mongodb-shardedhelm.sh/chart:mongodb-sharded-6.0.3a
筑梦之路·2023-11-12 15:05
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他