分片+副本集

计算机网络（18）——IPv4 数据报格式及分片

文章目录IPv4数据报IPv4数据报格式IP数据报分片因特网网络层包括三个主要组件：①IP协议；②路由选择部分，它决定了数据分组从源到目的所流经的路径，由路由选择协议计算出用于网络中转发分组的转发表；③ICMP
W24-·2023-11-18 18:55

Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）

文章目录一、内存估算1.1GradioDemos1.2TheCommand二、使用Accelerate加载超大模型2.1模型加载的常规流程2.2加载空模型2.3分片检查点（Shardedcheckpoints
神洛华·2023-11-17 06:25

云ES容灾方案

单可用区故障，云ES集群依然可能对外提供服务；两个可用区故障，需要进行控制台切流（集群会自动切的选择主节点）应用服务部署在二个可用区，单可用区故障，依然可对提供服务1.2海外代购ES集群架构1.3海外代购ES分片
有恒则成·2023-11-17 05:52

ES7.x 新特性与重大变化

默认配置5个分片，改为1个分片。使用Lucene8，改进了top-k查询的搜索性能。更好的主节点选举能力，减少脑裂的风险。降低选举的的时间。
有恒则成·2023-11-17 05:51

【系统架构设计】架构核心知识： 3.5 Redis和ORM

目录一Redis1Redis与MemCache2Redis分布式存储方案3Redis集群切片的方式4Redis数据分片
Jackilina_Stone·2023-11-17 04:08

IP分片--为什么单次最大传输1472个字节

UDP传输的时候，每次接收的最大字节数为1472个字节，然后数据就会被分包，重新进行发送，在进行数据接收的时候，经常会遇到本次数据还没有接收完，数据就被分包的情况，那么为什么是1472个字节对数据进行分片呢
Z小旋·2023-11-17 03:32

大数据-hadoop HA

数据一致好掌握问题：单点故障，集群整体不可用压力过大，内存受限HDFS解决方案：单点故障：高可用方案：HA（HighAvailable）多个NN，主备切换，主压力过大，内存受限：联帮机制：Federation（元数据分片
Ybb_studyRecord·2023-11-17 03:26

redis之安装部署

单机部署1.1、redis-6.2.12下载安装1.2、查看服务进程2、redis-6.2.12主从+哨兵部署3、redis-6.2.12Cluster部署1、Redis群集TCP端口1、Redis群集数据分片
Michael_lcf·2023-11-17 02:11

Spring Boot+VUE分片上传大文件到OSS服务器解决方案

根据项目需要，在很多地方都需要将超大文件上传到服务器，特别是将视频文件上传到云平台的OSS服务器上，这种需求在项目中已经是十分普遍的需求了。在网上收集了很多资料，基本上都只有JAVA到OSS服务器，或都VUE前端服务端到SpringBoot后端服务器。当前前后端开发已经十分普及了，大文件一般都保存到OSS服务器，不会保存到自己的业务服务器，OSS大文件服务器+tomcat为业务服务器+VUE/Ra
海盐老伍·2023-11-16 23:28

JavaScript下载文件、音频、视频的方式

如果要对大数据量或者需要分片下载、上传等操作，可以考虑Blob对象。
云隙阳光i·2023-11-16 10:41

kafka集群与redis集群的概念对应关系

近期在接触kafka，发现kafka的一些概念与redis中的概念类似，整理如下kafka集群redis集群消息划分多主题无主题概念，可以看做对数据没有做区分，即只有一个存储区域划分多分区多分片冗余机制多副本
zlpzlpzyd·2023-11-16 09:40

mysql分片后影响备份吗_光大银行分布式实战：国内最大缴费平台的数据库架构转型...

本文根据于树文老师在〖deeplus直播第231期〗线上分享演讲内容整理而成。(文末有获取本期PPT&回放的方式，不要错过)于树文光大银行资深DBA目前在中国光大银行信息科技部数据库管理团队主要负责分布式数据库建设项目，推进行内技术架构转型等相关工作。从事数据库运维管理工作十余年，在数据库的性能优化，升级迁移，高可用容灾等方面具有丰富经验。我今天分享的主题是《高并发场景下，光大银行分布式数据库的架
weixin_39934085·2023-11-15 23:15

Elasticsearch（ES）入门学习

二、基本概念2.1索引（indices）2.2类型（type）2.3文档（document）2.4字段（field）三、集群基础概念3.1cluster(集群)3.2shards(分片)3.3replicas
一只慵懒的猫z·2023-11-15 20:43

linux 解压缩 压缩 分片压缩（tar tar.gz zip rar 7z）

Linux默认装的有gzip，可以直接解压tar、tar.gz查看右侧的目录快速找到需要的格式一、tar、tar.gz格式（一）软件安装tar通常情况是系统默认安装的apt-getinstalltar（二）解压缩命令1.解压.tartar-zxvffilename.tar2.解压.tar.gztar-zcvffilename.tar.gz（三）压缩命令1.压缩为.tar将file1和目录direc
ziqibit·2023-11-15 16:43

python中split的用法取第二个分片_Python中split()函数的用法及实际使用示例

Python中split()函数，通常用于将字符串切片并转换为列表。一、函数说明：split()：语法：str.split(str="",num=string.count(str))[n]拆分字符串。通过制定分隔符将字符串进行切片，并返回分割后的字符串列表[list]参数：str：分隔符，默认为空格，但不能为空("")num:表示分割次数。如果指定num，则分割成n+1个子字符串，并可将每个字符串
weixin_39622150·2023-11-15 13:52

算法之哈希算法

哈希函数的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储问题总结：参考资料前言哈希算法和散列函数其实很多同学可能会混淆，一头雾水，其实散列函数只是哈希算法的一种实践应用。
遇见更好的自己、·2023-11-15 13:35

超越任务调度的极致：初探分布式定时任务 XXL-JOB 分片广播

XXL-JOB是一个分布式任务调度平台，支持分片任务执行。1.依赖引入在项目中引入XXL-JOB的相关依赖。
鲨鱼辣椒不吃辣c·2023-11-15 09:01

AWS-S3通用存储操作，操作minio、oss、cos等所有兼容s3协议的云存储（含有大文件分片上传实现）

一、介绍通用存储操作common包，支持所有兼容amazon-s3协议的云存储，如minio、oss、cos等，以后客户用啥云储存一套代码都能搞定了，真棒~二、代码结构三、代码实现3.1pom.xmlsay-common-ossaws-java-sdk-s3com.amazonaws${aws.version}spring-weborg.springframeworklombokorg.proje
say荣帅·2023-11-15 07:06

Redis搭配RedisTemplate实现分布式锁实战实例

原因是：可能是由于Redis的主从复制或者分片集群等机制导致的。在主从复制或者分片集群中，可能会发生多个节点同时订阅了相同的键空间通知，从而导致同一个键空间事件被多次触发。
持键写浮生·2023-11-15 06:04

一个Demo搞定前后端大文件分片上传、断点续传、秒传

1前言文件上传在项目开发中再常见不过了，大多项目都会涉及到图片、音频、视频、文件的上传，通常简单的一个Form表单就可以上传小文件了，但是遇到大文件时比如1GB以上，或者用户网络比较慢时，简单的文件上传就不能适用了，用户辛苦传了好几十分钟，到最后发现上传失败，这样的系统用户体验是非常差的。或者用户上传到一半时，把应用退出了，下次进来再次上传，如果让他从头开始传也是不合理的。本文主要通过一个Demo
小小码农>>>>·2023-11-15 05:28

MongoDB 面试题

如果在一个分片（shard）停止或者很慢的时候,我
青鱼入云·2023-11-14 21:46

RocketMQ基本概念

）生产者组（Producer-Group）消费者（Consumer）消费者组（Consumer-Group）消息代理（Broker）消息队列（Queue）Broker-Topic-Queue的关联以及分片的概念分片命名服务
三文鱼先生·2023-11-14 17:51

ElasticSearch---查询es集群状态、分片、索引

查看es集群状态：curl-XGEThttp://localhost:9200/_cat/health?v如果?后面加上pretty，能让返回的json格式化。加上?v的返回结果，如下：epochtimestampclusterstatusnode.totalnode.datashardsprireloinitunassignpending_tasksmax_task_wait_timeactiv
乐之者v·2023-11-14 09:04

TS流中BAT与SDT等表的解析

由于传输的文件比较大，文件分片传输，形成包（也可以叫帧）；由各个包组合在一起，就能形成这完整的文件。
wu694128·2023-11-14 08:45

Redis05-集群方案

目录Redis集群方案主从复制主从复制的基本原理主从复制的工作流程乐观复制主从复制的优势哨兵机制哨兵的关键作用服务状态监控哨兵选举Master规则分片集群分片集群中的数据读写数据写入数据读取一致性哈希和客户端分片
Elaine202391·2023-11-14 08:08

MongoDB副本集配置和创建

副本集有三类角色：master(primary)，slave(secondary)，仲裁服务器。
ZzzkiYoumi·2023-11-14 08:34

Redis集群，你真的学会了吗？

目录1、为什么引入集群1.1、先来了解集群是什么1.2、哨兵模式的缺陷+引入集群解决了什么问题1.3、使用集群，如何存储数据2、三种主流的分片方式【经典面试题】2.1、哈希求余算法2.1.1、哈希求余算法的介绍
龙洋静·2023-11-14 02:58

Elasticsearch curl操作

v'查看索引分片:curl-u'elastic:xxxx'-XGET'192.168.x.x:9200/_cat/indices?
Dream答案·2023-11-14 00:50

ElasticSearch---查询es集群状态、分片、索引

查看es集群状态：curl-XGEThttp://localhost:9200/_cat/health?v如果?后面加上pretty，能让返回的json格式化。加上?v的返回结果，如下：epochtimestampclusterstatusnode.totalnode.datashardsprireloinitunassignpending_tasksmax_task_wait_timeactiv
乐之者v·2023-11-13 15:04

分布式数据库系统期末复习

期末复习写在最前面一、分布式数据库系统概述DDBS基本概念作用和特点优缺点二、分布式数据库系统的结构体系结构：有哪几种类型模式结构（从数据角度分析）组件结构（从功能）三、分布式数据库设计数据分片定义分片类型分片作用分配设计分片原则
是Yu欸·2023-11-13 14:51

Day10:YARN与Hive入门

优秀是一种习惯知识点01：回顾知识点02：目标知识点03：MapReduce补充：分片规则知识点04：MapReduce补充：ReduceJoin知识点05：MapReduce补充：MapJoin知识点
人间清醒vv子·2023-11-13 12:08

Redis集群数据分片机制说明

Redis集群简介RedisCluster是Redis的分布式解决方案，在3.0版本正式推出，有效地解决了Redis分布式方面的需求。RedisCluster一般由多个节点组成，节点数量至少为6个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。如上图所示，该集群中包含6个Redis节点，3主3从，分别为
漫天雪_昆仑巅·2023-11-13 09:47

Redis核心技术与实战

Redis三大主线高性能主线，包括线程模型、数据结构、持久化、网络框架；高可靠主线，包括主从复制、哨兵机制；高可扩展主线，包括数据分片、负载均衡。
IT--Fly·2023-11-13 05:51

MongoDB单实例安装(Linux)

mysql是关系型数据库mongodb是面向文档存储的非关系型数据库，数据以json的格式进行存储mongodb可用来永久存储，也可用来缓存数据mongodb提供副本集和分片集群功能，操作简单mongodb
ZzzkiYoumi·2023-11-13 00:04

elastic-job 完结篇

一elastic-job1.1案例场景分析1.设置4个分片，10秒执行一次。
健康平安的活着·2023-11-12 23:27

ElasticSearch7.x - HTTP 操作 - 索引操作

PUT请求：http://192.168.254.101:9200/shopping说明{"acknowledged"【响应结果】:true,#true操作成功"shards_acknowledged"【分片结果
Java橙旭源·2023-11-12 15:35

K8S 部署mongoDB 6.0 分片集群 —— 筑梦之路

#vimmongodb-sharded-cluster-Secret.yamlapiVersion:v1kind:Secretmetadata:name:mongodb-sharded-clusternamespace:"default"labels:app.kubernetes.io/name:mongodb-shardedhelm.sh/chart:mongodb-sharded-6.0.3a
筑梦之路·2023-11-12 15:05

Clickhouse学习笔记01——入门及安装

的特点2.1列式存储2.2DBMS功能2.3多样化引擎2.4高吞吐写入能力2.5数据分区和线程并行2.6一些限制2.7哪些公司在使用clickhouse3.优缺点3.1优点3.2缺点4.核心概念4.1数据分片
mp9105·2023-11-12 14:44

Mysql DATE_SUB索引问题是否生效?

查询一个月内的数据,有其他筛选条件.SQL从稍微复杂一点的聚合SQL(包括,Max,Groupby,Sum)更改了一个简单的查询SQL.所有的聚合在代码中实现.但是查询结果还是比较慢,并且是在将where条件分片之后
爱打架的小白兔·2023-11-12 12:33

制作Docker镜像，在前端的应用

一般，Dockerfile共包括四部分：基础镜像信息不可能从头到尾创建一个完整的镜像,Docker镜像是分片的文件系统,如果从头到尾创建就是重复劳动,可以基于别人创建好的基础上添加.维护者信息镜像操作指令容器启动时执行指令一个简单的
桃子阿哥·2023-11-12 09:43

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

数据管理元数据与数据一起存放在磁盘上：数据部分纠删分片以后存储在磁盘上，元数据以明文形式存放在元数据文件里（xl.json）。假定对象名字为obj-with-metad
洛神灬殇·2023-11-12 08:44

【计算机网络笔记】IP分片

系列文章目录什么是计算机网络？什么是网络协议？计算机网络的结构数据交换之电路交换数据交换之报文交换和分组交换分组交换vs电路交换计算机网络性能（1）——速率、带宽、延迟计算机网络性能（2）——时延带宽积、丢包率、吞吐量/率计算机网络体系结构概念OSI参考模型基本概念OSI参考模型中非端-端层（物理层、数据链路层、网络层）功能介绍OSI参考模型中端-端层（传输层、会话层、表示层、应用层）功能介绍TC
不怕娜·2023-11-12 07:22

【MongoDB】docker部署mongdb多机集群(跨主机副本集)

目录概述-MongoDBReplication(官方英文文档)冗余&&数据可用性MongoDB副本集多主机多节点docker部署流程概述环境准备：部署步骤：参考文献概述-MongoDBReplication
Felier.·2023-11-12 03:18

mongodb 副本集备忘

ReplicaSetDeploymentTutorialsThefollowingtutorialsprovideinformationindeployingreplicasets.DeployaReplicaSet部署副本集环境
抠jue大仙·2023-11-12 01:45

【网络编程】网络层——IP协议

文章目录基本概念路径选择主机和路由器IP协议格式分片与组装网段划分IP地址的数量限制私网IP地址和公网IP地址深入认识局域网路由基本概念TCP作为传输层控制协议，其保证的是数据传输的可靠性和传输效率，但
星河万里᭄ꦿ࿐·2023-11-12 00:35

Clickhouse 学习笔记（6）—— ClickHouse 分片集群

（5）——ClickHouse副本-CSDN博客与副本对比：副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决要解决数据水平切分的问题，需要引入分片的概念
THE WHY·2023-11-12 00:52

Elasticsearch 7.10 之 Slow Log

SearchSlowLog分片级别的慢速搜索日志允许将慢速搜索（查询和提取阶段）记录到专用日志文件中。
王大丫丫·2023-11-11 20:30

java实现文件断点续传、秒传

实现思路：前端实现：前端获取文件，定义分片大小，利用file.slice(start,end);方法将文件分片，获取总分片数、当前分片序号、当前分片文件；定义文件唯一标识，存入cookie中，当上
亭子下的李子·2023-11-11 17:54

Redis之哨兵与集群

主从复制3.主从复制流程四、哨兵1.哨兵结构2.哨兵模式的功能3.哨兵的核心知识4.哨兵作用5.哨兵模式下的故障迁移五、Cluster集群1.Redis-Cluster集群的作用2.Redis集群的数据分片
Guo_youyou·2023-11-11 16:36

mongodb-sharded 副本集部署

root@test-192:~#helmsearchrepomongodbNAMECHARTVERSIONAPPVERSIONDESCRIPTIONbitnami/mongodb14.0.127.0.2MongoDB(R)isarelationalopensourceNoSQLda...bitnami/mongodb-sharded7.0.57.0.2MongoDB(R)isanopensourc
野猪佩挤·2023-11-11 13:07
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他