Shard

记录一次伟大的踩坑经验------关于sharding jdbc 4.X版本(现已更名shardingSphere)的坑

引入shardingjdbc作为底层的分片框架已经一年多了，一直运行良好。虽然小问题不断，但大问题没有，性能稳定，值得赞一个。
天蒙光·2023-09-25 12:33

mysql集群

最为常见的MySql以及ShardingSphere框架，来分库分表。单机---->集群（2）MySql主从同步在MySQL运行的过程中，打开BinLog日志，在从库上起一个线程，与主库链接。
596506678·2023-09-25 10:00

Bee 1.17.21与V2.1.7两个版本有什么不同

2.1为止发现的一些bug或问题；https://www.oschina.net/news/245992/bee-1-17-21-lts-releasedV2.1比1.17主要增加了1.完善的分库分表Sharding
abckingaa·2023-09-24 21:16

Elasticsearch 分片down（unassigned shard）常用处理方式

近期多次出现ES集群上报"Elasticsearch实例存在down状态的主分片“或"Elasticsearch实例存在down状态的副本分片“，对该问题现象的处理步骤和方法进行总结。【可能原因】问题参考：https://github.com/elastic/elasticsearch/issues/23199【处理步骤】1.登录任意EsNode1节点，执行如下命令查看down分片以及原因，其中u
大叶子不小·2023-09-24 18:58

2022-09-27

Itreallytakestimetodevelopacombinedprojectwhichincludeshardwareandsoftwaretechnics.Anditisevenhardwhenalltheseworksbelongtoasmallteamorjustme.Toomanythingsneedtotakecareof
下雨了别出去了·2023-09-24 13:39

后端存储14（存档历史数据提升查询性能）

解决海量数据导致存储系统慢的问题，思想非常简单，就是一个“拆”字，把一大坨数据拆分成N个小坨，学名叫“分片（Shard）”。当表数据量过大影响到查询性能时，首先应考虑到———存档历史数据。
兮兮码字的地方·2023-09-24 12:07

12-MHA+读写分离

....2.高可用:解决业务主库宕机时,还能继续提供原有服务MHA,PXC,MGC,MGR,MIC(8.0)3.分布式架构:将逻辑单元拆分到不同的节点中,分担存储压力和业务压力.Mycat,DBLE,Sharding-jdbc4
UncleZ_strive·2023-09-24 09:53

06_ElasticSearch：索引和文档的CURD

pretty{#索引设置"settings":{"index":{"number_of_shards":1,#分片数量设置为1，默认为5"number_of_replica
吴法刚·2023-09-24 09:43

排序算法的理解--快速排序

Trytofindoutthemostfoundamentaltruthyoucanimageandreasonupfromthere.Itishardtothinkthatway,thefirstprinciple
tiffany0624·2023-09-23 21:43

Mycat与ShardingSphere如何选择（未完待续）

区别MycatSharding-JDBCSharding-ProxySharding-Sidecar官方网站官方网站官方网站官方网站官方网站源码地址GitHubGitHubGitHubGitHub官方文档
攻城狮悠扬·2023-09-23 20:07

重磅！0.2nm路线图来了！详细讲解技术实现！

来源：tomshardware编译：EETOP世界上最先进的半导体研究机构Imec最近在比利时安特卫普举行的未来峰会上分享了其亚1nm和晶体管路线图。
人工智能学家·2023-09-23 17:41

shardingjdbc分库分表数据均衡性讨论

问题引入最近一个业务系统中，因为数据量很大，经过技术选型，综合权衡选择了sharding-Jdbc，本文主要讨论的是分库分表的表达式我们有一个批次总表A，还有一个明细表B，我们需要对明细表B进行水平拆分
暴走的耗子·2023-09-23 14:09

云原生,分布式与微服务

分布式文件系统）、Kafka和Pulsar（分布式消息队列），RedisCluster和Codis（分布式缓存），MySQL的分库分表（传统关系型数据库的分布式方案），MongoDB的ReplicaSet和Sharding
宋song一·2023-09-23 11:15

Sharding-jdbc实现分库分表+读写分离

Sharding-jdbc实现分库分表+读写分离1环境介绍软件版本1.VMware15pro2.虚机系统SentOS73.shell工具FinalShell3.6.24.mysql5.7.31虚机作用角色
传说中的架构师·2023-09-23 08:22

窄门并不通往幸福

forthegateiswideandtheroadiseasythatleadstodestruction,andtherearemanywhotakeit.Forthegateisnarrowandtheroadishardthatleadstolife
大橙子希希·2023-09-23 01:54

实现一款高可用的 TCP 数据传输服务器（Java版）

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-09-22 19:57

ElasticSearch常用命令

^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/no
十毛tenmao·2023-09-22 08:55

每天20句英语口语“碎碎念”☞(81-100)

81．It'shardtosay.（难说。）82．It'salongstory.（说来话长/一言难尽。）83．It'sasmallworld.（世界真小。）84．It'sagainstthelaw!
Leon_Geo·2023-09-22 07:39

spring boot 八、 sharding-jdbc 分库分表 按月分表

在项目resources目录下新建com.jianmu.config.sharding.DateShardingAlgorithm文件新增yaml配置数据源spring:shardingsphere:props
等一场春雨·2023-09-22 07:23

只会用 Spring Boot 创建微服务？这 4 种替代方案绝了！

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-09-22 05:07

ES集群状态查看命令

^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/indices/_cat/indices/{
Sx_Ren·2023-09-22 04:54

SpringBoot工程模板

：https://start.spring.io/4.0.0org.springframework.bootspring-boot-starter-parent2.7.15com.etoaktest-shardingsphere0.0.1
wsdhla·2023-09-21 23:31

从源码看ShardingSphere设计-路由引擎篇

无论是分库分表、还是读写分离，一个SQL在DB上执行前都需要经过特定规则运算获得运行的目标库表信息。路由引擎的职责定位就是计算SQL应该在哪个数据库、哪个表上执行。前者结果会传给后续执行引擎，然后根据其数据库标识获取对应的数据库连接；后者结果则会传给改写引擎在SQL执行前进行表名的改写，即替换为正确的物理表名。计算哪个数据库依据的算法是要用户配置的库路由规则，计算哪个表依据的算法是用户配置的表路由
蚊子squirrel·2023-09-21 23:44

2020-9月份计划

14arthasmateslvs,ansible日志收集：大量ELKB，小量lokiprometheus+grafana+telegraf分布式事务fescarimage.pngimage.png分库分表sharding-jdbc
16325·2023-09-21 12:09

ES 不香吗，为啥还要 ClickHouse？

，每天掉亿点点头发...源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2023-09-21 09:03

docker常见镜像安装启动总结

docker常见镜像安装启动总结准备常用命令mysqlmysql5.7单机版安装mysql8.0单机版安装mysql8.0主从复制安装配置springboot使用shardingjdbc配置读写分离Elasticsearchlogstashrocketmq
LinkcOne·2023-09-21 07:30

Elasticsearch搜索过程解析

对已知文档的搜索如果被搜索的文档（不论是单个文档，还是批量文档）能够从主分片或任意一个副本分片中被检索到，则与索引文档过程相同，对已知文档的搜索也会用到路由算法，Elasticsearch中的路由算法如下所示：Shard
i_cyy·2023-09-21 04:42

外包干三年，必废！

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-09-21 03:30

图神经网络GNN GCN AlphaFold2 虚拟药物筛选和新药设计

GeometricDeepLearningRepresentationlearning表征学习机器学习的数据类型：序列、网格、图引出GNN2.GraphNeuralNetworksMachineLearningLifecyclelearninggraphishardFeatureLearninginGraphsWaystoAnalyzeNetworksANaiveApproa
丸丸丸子w·2023-09-21 01:36

大文件上传下载实现思路，分片、断点续传代码实现

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-09-21 00:19

分库分表理论

1、分库分表的原因关系性数据库易成为系统性能瓶颈、单机存储容量、连接数、处理能力等都很有限，而数据的四大特性要求又导致了数据库没法向web应用服务器那样易于扩展，在大数据量情况下就有了分库分表（也成为Sharding
小样儿的茅草屋·2023-09-20 23:38

【分布式缓存-分布式篇】Redis Cluster 模式

一、RedisCluster简介Redis3.0之后，节点之间通过去中心化的方式提供了完整的sharding（分片）、replication（复制）、failover解决方案，称为RedisCluster
夏天的风风风·2023-09-20 22:37

数据库中Partitioning和Sharding的区别

Partitioning分为两种，一种是横向Partitioning,而另一种是纵向。横向相当于把整个表按照列来分开，然后用主键来配对。比如说表格里有序号、姓名、电话、住址，我们把序号+姓名做成一张表，然后把序号+电话+住址做成另外一张表，序号作为主键相互关联。纵向Partitioning是指，把表格按照行来分开，，比如第一张表存的是张三李四，第二张表开始存王二麻子数据，表头都是保持不变的。Sha
一蓑烟雨_蔡·2023-09-20 13:53

负载均衡的跨驱动的解耦的连接池DataSource

如果想要用类似的功能，建议还是使用当当网的sharding-jdbc，赋上该官网https://shardingsphere.apache.org/document/current/cn/overview
彬_708c·2023-09-20 11:44

Lostash同步Mysql数据到Elasticsearch（三）Elasticsearch模板与索引设置

templatePUT/_template/test-xxx{"template":"idx_znyw_data_gkb_logstash","order":1,"settings":{"number_of_shard
攻城狮悠扬·2023-09-20 09:17

分库分表-分片键

分片键算法：分片键决定了数据会被分布在哪个分片，原理就是根据分片键的值计算出数据所分布的分片ID计算的过程就是分片键算法，即f(shardKey)=shardID，常见的算法有三种RangeHashLookup
信仰_273993243·2023-09-20 09:39

sharding-jdbc 配置主从及 mysql 主从配置

sharding-jdbc支持配置主从库，本章主要介绍如何配置主从，及mysql主从配置mysql主从配置参考文章：https://blog.csdn.net/soslinken/article/details
东方不喵·2023-09-20 06:25

[业界方案] ClickHouse业界方案学习笔记

ClickHouse业界方案学习笔记文章目录[业界方案]ClickHouse业界方案学习笔记0x00摘要0x01简介0x02OLAP场景的特点0x03选型原因携程选型原因头条选型原因0x04技术特点0x05多数据Sharding
罗西的思考·2023-09-20 06:10

ES unassigned解决之重路由分配1

ES3台节点有一台挂掉重启之后怎么操作====================================问题升级为:ES集群节点宕机导致shardunassigned解决方案https://blog.csdn.net
bigdata张凯翔·2023-09-20 01:48

Elasticsearch系列---shard内部原理

概要本篇我们来看看shard内部的一些操作原理，了解一下人家是怎么玩的。
清茶豆奶·2023-09-20 00:29

Sharding-Proxy自定义分片策略（按年分库，按月、日、小时、分表）

目录版本说明一、官方的说明1.使用自定义分片算法2.数据分片配置说明二、正确的姿势1.下载官方源码2.配置启动sharding-proxy3.代码、配置文件，结构说明版本说明组件版本备注Sharding-Proxy
攻城狮悠扬·2023-09-19 14:28

elk日志某个时间节点突然搜索不到了

elk日志某个时间节点突然搜索不到了,检查filebeat正常Kibana手动上传数据:响应:Error:ValidationFailed:1:thisactionwouldadd[2]totalshards
qq_27173485·2023-09-19 07:57

分库分表第四篇之分页查询优化方案

Sharding-Jdbc分页修正Sharding-Jdbc分页修正的优化方案分页查询在一个系统中一般都是占据了大部分的请求量，所以对于分页的优化就显得很重要。
小螺丝钉cici·2023-09-18 18:55

Sz

Sz-MeetagainItwarmseverything.It'sonlythethrobofspringStillcan'timaginethetruthInlonelyyearsIt'shardformetodescribe.It'sstillbeautifultoseeyouagain
zhi23064·2023-09-18 17:14

ShardingSphere-JDBC 分库分表

SpringCloud微服务系列文章，点击上方合集↑1.简介ShardingSphere是国产的、开源的、配置简单的分布式数据库解决方案。可以通过简单的配置实现分库分表和读写分离。
小虎哥的技术博客·2023-09-18 13:09

Java操作es 查询时 [search_phase_execution_exception] all shards failed

_types.ElasticsearchException:[es/search]failed:[search_phase_execution_exception]allshardsfailed以上异常来源于
糊涂涂糊涂涂·2023-09-18 05:11

es小记(copy_to)

简单创建索引复制字段1:3个主分片,各自有一个副本,总分片数为3*2=6;refresh_interval为刷新频率;其他参数描述,转载自PUTtest1{“settings”:{“number_of_shards
Boy-F·2023-09-18 04:24

动态映射方式之字段名称匹配机制

1：创建索引，dynamic_templates名称是固定的，不能随便命名；PUTmy_dynamic_temp{“settings”:{“number_of_shards”:1,“number_of_replicas
Boy-F·2023-09-18 04:23

sharding-jdbc 实现按月分表

使用到的框架主要是：sharding-jdbc、springboot、mybatis、durid，先建个demo简单实践下。
则好·2023-09-18 03:08

sharding-jdbc行分片策略默认不支持按分片键的范围查询

目录sharding-jdbc行分片策略默认不支持按分片键的范围查询原因：使用行分片策略解决方案：使用标准分片策略sharding-jdbc分片策略sharding-jdbc行分片策略默认不支持按分片键的范围查询在开发时
充电ings·2023-09-18 02:42
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他