分片集群搭建

Kafka集群与可靠性

Kafka集群与可靠性1.Kafka集群搭建实战使用两台Linux服务器：一台192.168.182.137一台192.168.182.138安装kafka首先，我们需要配置java环境变量（这里就略过了
llp1110·2024-01-23 13:39

Postgresql的集群搭建与监控方案

转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。相关文章：PostgreSQL学习之部署与简单使用PostgreSQL的常见错误和解决方法如果PostgreSQL有两层nginx代理，会发生什么事？前言之前在《PostgreSQL学习之部署与简单使用》记录了PostgreSQL的搭建和简单使用，本文记录PostgreSQL集群的搭建，接入Promet
SRE成长记·2024-01-23 10:30

Elasticsearch学习笔记(03) - 基本概念：文档、索引和REST API

前言Elasticsearch有一些基本概念，包括：文档、索引、节点和分片，等等。文档和索引更多是偏向于开发，而节点和分片更多是偏向于运维。在本文中，我们主要讨论文档和索引相关的概念。
juconcurrent·2024-01-23 08:34

Elasticsearch：介绍 kNN query，这是进行 kNN 搜索的专家方法

我们这样设计是为了：无论分片数量多少，它总是可以返回全局k个最近邻居这些全局k个结果与其他查询的结果相结合以形成混合搜索全局k结果被传递到聚合以形成统计（facets）。这是kNN搜索在内部执行的简化
Elastic 中国社区官方博客·2024-01-23 06:33

JAVA大文件(10G以上)的上传下载实现技术

大文件上传技术在Java中，处理大文件上传的一种常见的方式是使用分片上传。分片上传将大文件切
M_Snow·2024-01-23 05:24

java大文件上传/下载解决方案整理

分片上传、断点续传、秒传文件上传花样百出，根据不同场景使用不同方案进行实现尤为必要。
沉淀超凡·2024-01-23 05:23

JAVA 超大文件上传解决方案:分片断点上传(一)

java两台服务器之间，大文件上传（续传），采用了Socket通信机制以及JavaIO流两个技术点，具体思路如下：实现思路：1、服：利用ServerSocket搭建服务器，开启相应端口，进行长连接操作2、服：使用ServerSocket.accept()方法进行阻塞，接收客户端请求3、服：每接收到一个Socket就建立一个新的线程来处理它4、客：利用Socket进行远程连接，询问已上传进度5、客：
Mr_Zang666·2024-01-23 05:13

redis的集群架构

redis分布式锁redis分布式锁redissonredis缓存优化redis的过期淘汰策略redis连接池参数文章目录系列文章目录redis的集群架构高可用的集群模式1.复制特性2.高可用特性3.分片特性集群架构搭建
敖小军·2024-01-22 23:47

redis哨兵架构

lua脚本redis分布式锁redis分布式锁redissonredis缓存优化redis的过期淘汰策略redis连接池参数文章目录系列文章目录redis的哨兵高可用架构(中小型公司大部分在使用)哨兵集群搭建
敖小军·2024-01-22 23:46

架构师的36项修炼-04架构核心技术之分布式数据存储

本课时主要包括以下内容：&MySQL复制，有主从复制和主主复制两种；&数据分片（或称数据分区），具体为数据分片的原理、分片的方案、分片数据库的扩容；&数据库分布式部署的几种方案；&NoSQL中的CAP原理
机智阳·2024-01-22 18:03

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~·2024-01-22 09:35

【征服redis14】认真理解一致性Hash与Redis的三种集群

目录1.前两种集群模式的特征与不足2.Cluster模式2.1Cluster模式原理2.2数据分片与槽位2.3Cluster模式配置和实现3.一致性Hash3.1哈希后取模3.2一致性Hash算法4RedisCluster
纵横千里，捭阖四方·2024-01-22 06:34

ElasticSearch 7.x现网运行问题汇集1

问题描述：现网ElasticSearchhealth状态变为red，有分片无法assign。
旻璿gg·2024-01-22 01:14

分库分表实战：可能是用户表最佳分库分表方案

我们首先来看一下分表时主要需要做的事情：选定分片键：既然是用户表那分片键非用户ID莫属；修改代码：以sharding-jdbc这种client模
Zal哥哥·2024-01-22 00:29

Sharding-JDBC快速使用【笔记】

1引言最近在使用Sharding-JDBC实现项目中数据分片、读写分离需求，参考官方文档（Sharding官方文档）感觉内容庞杂不够有条理，重复内容比较多；现结合项目应用整理笔记如下供大家参考和自己回忆使用
一朝风月S·2024-01-21 23:47

架构10- 理解架构的模式4-数据管理模式

一、分片模式：将数据存储区分为多个水平分区或分片，以便更好地管理和处理大量数据。当业务量达到单个业务表通过缓存和队列削峰等措施后的平均TPS超过1万时，我们不得不考虑数据库分片。
我还是个少年·2024-01-21 22:32

ElasticSearch 学习、实践笔记

索引可以被分为多个分片，每个分片可以存储一部分文档数据。2.文档（Document）：文档是Elasticsearch中的基本数据单元，类似于关系型数据库中的行。
**Dragon**·2024-01-21 19:59

Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
用心去追梦·2024-01-21 19:26

Mongo集群入门

一、前言MongoDB有三种集群架构模式，分别为主从复制（Master-Slaver）、副本集（ReplicaSet）和分片（Sharding）模式。
人工智·2024-01-21 16:08

直击Redis集群痛点：数据倾斜优化实战，打造高效分布式缓存架构

随着数据规模的不断扩大，Redis分片集群在处理大规模数据时可能会面临一个棘手的问题——数据倾斜。
超越不平凡·2024-01-21 15:00

RocketMQ集群搭建

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加RocketMQ集群搭建提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、多master
键盘敲烂~~~·2024-01-21 14:16

Minio文件分片上传实现

资源准备MacM1Pro安装Parallels19.1.0请参考https://blog.csdn.net/qq_41594280/article/details/135420241MacM1ProParallels安装CentOS7.9请参考https://blog.csdn.net/qq_41594280/article/details/135420461部署Minio和整合SpringBoo
只年·2024-01-21 11:21

IPv6--ACL6(IPv6访问控制列表--高级ACL6配置）

高级ACL6高级ACL6根据源IPv6地址、目的IPv6地址、IPv6协议类型、TCP源/目的端口号、UDP源/目的端口号、分片信息和生效时间段等信息来定义规则，对IPv6报文进行过滤。
A_Puter·2024-01-21 09:10

ClickHouse与Doris数据库比较

clickhouse集群节点IP分片编号副本编号物理配置ck93192.168
禹鼎侯·2024-01-21 08:13

关于常见分布式组件高可用设计原理的理解和思考

文章目录1.数据存储场景和存储策略1.1镜像模式-小规模数据1.2分片模式-大规模数据2.数据一致性和高可用问题2.1镜像模式如何保证数据一致性2.2镜像模式如何保证数据高可用2.2.1HA模式2.2.2
李姓门徒·2024-01-21 07:30

IP分片与组装

IP分片的原因简单的来说，数据链路层规定了物理网络的最大传输单元MTU，这个值体现了设备的网络收发能力，该值因设备而异，默认值为1500个字节。
我要出家当道士·2024-01-21 06:01

Redis集群Cluster和分片

1.Cluster集群介绍背景Sentinel解决了主从架构故障自动迁移的问题但是master主节点的写能力和存储能力依旧受限使用Redis的集群Cluster就是为了解决单机Redis容量有限的问题，将数据按一定的规则分配到多台机器什么是集群Cluster是一组相互独立的、通过告诉网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理容易和分布式弄混，分布式系统简单的理解为一个庞大的系统
水宝的滚动歌词·2024-01-21 05:40

kafka核心原理及数据积压问题

1kafka的分片和副本机制何为分片?分片有什么用呢?
江枫渔火R·2024-01-20 22:24

Elasticsearch Index Shard Allocation 索引分片分配策略

Elasticsearch索引分片的分配策略说明在上一篇《索引生命周期管理ILM看完不懂你锤我》（https://mp.weixin.qq.com/s/ajhFp-xBU1dJm8a1dDdRQQ）中，
醉鱼！·2024-01-20 19:24

es-kibana集群搭建（7.3版本带x-pack）

一、前言es因为版本迭代太快，网上的资料大多停留在6.x及之前的版本，但是6.x版本之前的es安全插件x-pack是收费的，如果不付费那es就是裸奔的状态。而从6.8.0和7.1.0版本开始，x-pack安全功能免费提供，但是网上关于x-pack的安装与使用确极少，本人最近恰好有用到所以记录一下（我这里使用的是7.3版本，我这里搭的是伪集群，搭建正式环境修改对应ip和端口就行）。二、安装elast
石用软件·2024-01-20 12:26

一篇文章掌握海量数据解决方案ShardingSphere分库分表详解

ShardingSphere概述1.1.ShardingSphere-JDBC1.2.ShardingSphere-Proxy1.3.ShardingSphere-Sidecar1.4.混合架构2、数据分片
cxzm_1024·2024-01-20 12:29

Spring Cloud详细入门使用

文章目录SpringCloud服务注册与发现EurekaServer启动服务注册服务发现NacosServer启动(nacos2.2.0)服务注册服务发现服务集群命名空间配置中心集群搭建负载均衡RPC远程过程调用
怡人蝶梦·2024-01-20 08:59

【Elasticsearch】awareness 配置导致分片无法迁移问题排查

进行机房迁移的操作是扩容了三个节点并将之前的三个节点exclude，但发现有部分分片无法迁移。问题排查抽查一个无法迁移分片的索引的分片分布如下问题在于gh-data-r
NEUpanning·2024-01-20 08:57

【Elasticsearch】存在数据的分片分配流程梳理

分配到哪个节点，allocation使用allocator和deciders进行节点选择，allocator负责整个流程会找出哪些节点可以分配，deciders通过多个decider判断该节点能否分配，很多分片分配的配置都是通过
NEUpanning·2024-01-20 08:27

【Elasticsearch】索引恢复（recovery）流程梳理之副本分片数据恢复

replicashard重启具体流程replicashardnode（genericthreadpool）也是因为应用新的集群状态触发recovery，进入index阶段进入translog阶段。先尝试重放本地的translog到globalcheckpoint向primaryshard发起startrecovery的请求，请求包含replica的localCheckpoint+1。（如果第二步重
NEUpanning·2024-01-20 08:23

Kafka系列（二）、架构原理及存储机制

kafkaeagle安装使用滴滴开源的kafka-manager编译及部署使用kafka管理监控系统CMAK(yahoo的kafka-manager)部署及使用Kafka系列（一）、2.6.0版本kafka集群搭建架构原理架构
王义凯_Rick·2024-01-20 08:56

Kafka的文件存储机制

在kafka中采用分区来存储数据，每个分区对应一个log文件，生产者每次生产的数据都追加到该文件之后，为了防止文件过大，在分区中又采用了分片索引机制，以提高数据定位的效率，每个个分片称为一个segment
有人打我·2024-01-20 08:25

Redis深入理解、面试常问、疑难解答

6、Redis高可用的几种实现方式6.1主从复制6.2哨兵模式6.3分片集群7、Redis持久化方式7.1、RDB7.2、AOF8、Redis锁原理Redis常问面试题1、Redis支持哪几种数据类型？
北漂IT民工_程序员_ZG·2024-01-20 06:27

Milvus 上新：支持上万个 Collection、新增 Accesslog 功能……

为此，Milvus新增了许多易用性功能，比如：可追踪外部接口调用的accesslog；对parquet数据格式的导入做了支持；引入了更清晰的错误消息；更快的加载速度以及更好的查询分片平衡能力。在
Zilliz Planet·2024-01-20 04:20

亚信安慧AntDB数据库：揭开性能与效率提升的奥秘

它采用了先进的数据库分片技术，使得数据在多个节点间进行分布式存储和处理，从而大幅提升数据库的性能和吞吐量。AntDB数据库的分片技术可以根据数据的特点和访问模式进行灵活
亚信安慧AntDB数据库·2024-01-20 01:31

数据分片概述、环境准备、部署MyCAT服务、全局表、分片表、ER表

1案例1：部署mycat服务1.1问题把主机mysql60配置为MySQL59的从服务器把主机mysql62配置为MySQL61的从服务器把主机mycat63配置为mycat服务器客户端192.168.88.50访问mycat服务1.2方案准备6台虚拟机，具体配置如表-11.3步骤实现此案例需要按照如下步骤进行。步骤一：把MySQL60配置为MySQL59的从服务器1）配置主服务器MySQL59/
Mick方·2024-01-19 15:40

Elasticsearch8 集群搭建（二）配置篇：（2）系统配置

此篇记录Elasticsearch8的一些系统配置。1、更改文件描述符的限制Elasticsearch使用了大量的文件描述符，它用于表示系统打开的文件的标识符。文件描述符是非负整数，它在操作系统层面被用来唯一标识一个打开的文件、套接字或其他I/O资源。每个进程都有一组文件描述符，这些描述符用于跟踪它当前打开的文件和网络连接。操作系统为每个进程分配一定数量的文件描述符。这个数量是由操作系统的配置和限
要薪贫气和哦·2024-01-19 13:55

【Redis】Redis如何做内存优化？

个人博客：个人主页个人专栏：Redis⛳️功不唐捐，玉汝于成目录前言正文使用数据结构：压缩对象：过期策略：分片：使用持久化方式：内存碎片整理：监控和分析：升级到新版本：Lua脚本优化：避免大量小对象：结语我的其他博客前言在
还在路上的秃头·2024-01-19 13:41

详解SpringCloud微服务技术栈：Nacos配置管理

Nacos的集群搭建，感觉太复杂了，就一台电脑要弄很久去模拟，所以不
布布要成为最负责的男人·2024-01-19 12:49

XXL_JOB轻量级分布式任务调度平台

路由策略：第一个，最后一个，轮询，随机，分片广播，故障转移等。邮件报警：任务失败时支持邮件报警，可配置多邮件地址群发报警。运行报表：实时查看任务数量、调度次数、执行器数量。帮助文档xxl_job文档地
tim24518·2024-01-19 12:46

Eureka整合seata分布式事务

修改conf目录中flie.conf文件1.3、修改conf目录中registry.conf文件1.4、初始化seata数据库二、微服务整合Seata2.1、父工程项目创建引入依赖2.2、Eureka集群搭建
人生就像一场戏!·2024-01-19 07:52

Jest 28发布

Jest28终于来了，它带来了一些长期以来一直要求的特性，比如支持跨多台机器的测试运行分片、包导出和自定义假计时器行为的能力。
魏铁锤爱摸鱼·2024-01-19 06:38

MongoDB认证考试小题库

FreeMongoDBC100DBAExamActualQuestions关于MongoDBC100DBA考试真题知识点零散整理分片架构应用程序-->mongos-->多个mongod对于应用来说，连接分片集群跟连接一台单机
Moshow郑锴·2024-01-19 01:12

HBase第一章：集群搭建

系列文章目录HBase第一章：集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了，太深入的东西，现在没有必要死磕
超哥--·2024-01-19 00:57

HBase集群部署

前提条件安装hbse的前提条件是jdk已经搭建完成，虚拟机具有Hadoop伪分布式或完全分布式的集群搭建，以及zookeeper环境搭建完成。
Golden life·2024-01-19 00:21
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他