Sharding

Spring Boot中进行分库编程

在SpringBoot中使用分库（Sharding）需要根据具体情况而定。分库是一种解决单数据库性能瓶颈和数据量大的解决方案，通过将数据分散到多个数据库中，可以提升数据库的读写性能和数据存储能力。
Byte Beat·2024-01-05 10:49

MySQL主从复制案例实现

使用Sharding-JDBC实现读写分离：1、导入maven坐标2、在配置文件中配置读写分离规则3、在配置文件中配置允许bean定义覆盖配置项1、导入maven坐标org.apache.shardingspheresharding-jdbc-spring-boot-starter4.0.0
海梦在飘扬·2024-01-04 16:09

（十一）数据分片(Sharding)和数据分区(PARTITIONing)简述

即便是MariaDB，也有一个想要处理大数据的心。虽然可能跟其它的例如HBase、Hive之类的比有些差异和不足，但并不影响壮志。简单列举两个要处理大量数据的例子：1、IoTSensorNetworks存取特性:很少大量写入，但多大量读取事务需求:少资料量:累积数量庞大2、AIMachineLearning领域搜集大量数据进行分析使用MariaDB处理大量数据，先来了解一下这两点。DATAShar
紫狐挽诗·2024-01-04 14:36

ShardingJDBC简单使用

Sharding-JDBC是当当网开源的适用于微服务的分布式数据访问基础类库，完整的实现了分库分表，读写分离和分布式主键功能，并初步实现了柔性事务。
kk变色龙13·2024-01-04 09:59

深入剖析ShardingSphere：探索其内核原理与核心源码，揭秘分库分表技术的奥秘

一、内核剖析ShardingSphere虽然有多个产品，但是他们的数据分片主要流程是完全一致的。解析引擎解析过程分为词法解析和语法解析。词法解析器用于将SQL拆解为不可再分的原子符号，称为Token。
光芒软件工匠·2024-01-04 03:23

深度解析ShardingJDBC：Java开发者的分库分表利器

一、ShardingSphereShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。
光芒软件工匠·2024-01-04 03:53

打造专业开发者指南：针对ShardingProxy分库分表解决策略的深度剖析 – 详解部署、使用、服务治理与优化技巧

一、ShardingProxy快速使用ShardingProxy的功能同样是分库分表，但是他是一个独立部署的服务端，提供统一的数据库代理服务。
光芒软件工匠·2024-01-04 03:18

Sharding Sphere 配置错误导致启动失败问题排查

环境：SpringBoot2.7JDK17ShardingSphere5.1.1报错信息：org.apache.shardingsphere.spi.exception.ServiceProviderNotFoundException
鬼客·2024-01-02 13:00

分库分表之Mycat应用学习五

5.1.2步骤以取模分片表sharding-by-mod
CopyLower·2024-01-01 22:16

mybatis oracle update返回值,mybatis+oracle执行update操作不能正确返回更新条数

我司对于业务重要性的要求我们使用了oracle+shardingjdbc+mybatis切到oracle后发现执行update不能返回条数，返回了-1，如果同时更新两个分表返回-2，实际上数据库已经更新成功
油腻少年·2024-01-01 22:44

springboot整合 elasticjob 3.x 启动报错 Error creating bean with name zookeeperRegistryCenter

现象Failedtointrospectbeanclass[org.apache.shardingsphere.elasticjob.reg.zookeeper.ZookeeperRegistryCenter
LiZhen798·2023-12-31 04:56

shardingsphere集成mybatis/mybatis-plus快速实现简单分片

com.baomidoumybatis-plus-boot-starter3.4.2org.springframework.bootspring-boot-starter-jdbcorg.mybatis.spring.bootmybatis-spring-boot-starter2.1.3com.alibabadruid1.1.23org.apache.shardingspheresh
Java小白中的菜鸟·2023-12-30 14:53

Mybaits拦截器实现水平分表

可选的方案有sharding-jdbc中间件还有就是Mybatis拦截器。
我就是胖着玩玩的·2023-12-30 11:07

es sharding 文档数量超过最大限制,写入失败的4种解决方案

es插入数据的时候报错failureinbulkexecution:[0]:index[leopard_user.driver_work_detail_record],type[detail_info],id[xxx],message[ElasticsearchException[Elasticsearchexception[type=illegal_argument_exception,reas
qq_35640866·2023-12-29 22:43

SpringBoot与ShardingSphere5.2.1整合

pom:org.apache.shardingsphereshardingsphere-jdbc-core-spring-boot-starter5.2.1yml:spring:#分表配置shardingsphere
jingzhi1230·2023-12-29 19:34

SpringBoot+ShardingSphereJDBC实战(读写分离，分库分表，垂直拆分、水平拆分)附源码

参考：https://www.51cto.com/article/747736.htmlhttps://blog.csdn.net/qq_41581588/article/details/126966665源码地址：[email protected]:jackXUYY/springboot-example.git读写分离测试我们启用后缀名为dev的配置文件，如下，数据库链接需要改成自己的地址库表需要自己建
caibixyy·2023-12-29 13:20

java分库分表-sharding-jdbc

java分库分表-sharding-jdbc为啥要分库分表？表数据太多，查询太慢有哪些拆分方式？
q琦一·2023-12-28 15:12

ShardingSphere数据库分库分表、数据库中间件

shardingSphere一、了解1.1、简介1.2、垂直切分1.2、水平切分1.3、分库分表应用和问题二、Sharding-JDBC1.1、简介1.2、springboot整合实现水平分库、分表1.2.1
hmb↑·2023-12-28 08:15

支付系统高可用架构设计，写得太好了！（建议收藏）

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-12-28 04:28

面试官：说说进程间通信和线程间通信的几种方式及区别

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-12-28 03:36

关于MySQL、分布式系统、SpringCloud面试题

性能优化分库分表常用库：mycat、shardingsphereSharding策略哈希取模范围：时间范围、ID范围增加映射表高性能、高可用什么时候
微风至夏·2023-12-27 16:36

分布式数据库-全局时钟

分布式数据库-全局时钟之前在ShardingSphere中基于TSO实现了全局逻辑时钟的特性，配合openGauss数据库，提供分布式事务实时一致性读能力。下面简单介绍下当时调研的全局时钟方案。
FlyingZCC·2023-12-27 14:50

数据库——分库分表

只分表不分库单表数据量很大，因为并发不高，数据库的连接还够，但是存储和查询的性能遇到瓶颈了，这个时候水平分表，提升效率分库1.水平分库（Sharding）：将一个库的表，水平分表到其他数据库。
可爱的小小小狼·2023-12-27 09:22

【SpringBoot】Spring data JPA整合ShardingSphere-JDBC静态读写分离实现

大佬栽树，我乘凉许大仙老师：【yuque.com/fairy-era/yg511q/ud9uli67b6gxgdh7】开整数据库准备一主两从数据库脚本CREATEDATABASEIFNOTEXISTSdbtestCHARACTERSET'utf8mb4'COLLATE'utf8mb4_general_ci';USEdbtest;--创建表CREATETABLEt_user(idINTPRIMARY
KAI丶·2023-12-25 20:24

面试官：Zabbix 和 Prometheus 要怎么选？

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2023-12-24 14:44

ShardingJdbc基于Zookeeper实现分布式治理

随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。在这种情况下，如何高效、自动化管理集群节点，实现不同节点的协同工作，配置一致性，状态一致性，高可用性，可观测性等，就成为一个重要的挑战。集群管理的复杂性体现在，一方面我们需要把所有的节点，不管是底层数据库节点，还是中间件或者业务系统节点的状态都统一管理起来，并且能实时探测到最新的配置变动情况，进一步为集群的调控和调度提供依据。另一方面
跟着Mic学架构·2023-12-24 13:17

Redis总结（十一） Redis集群-Cluster集群（一）

Redis3.0之后，节点之间通过去中心化的方式提供了完整的sharding(分片),replication(复制),failover(故障迁移)解决方案，成为redis-clusterRedis集群是一个可以在多个
卢小记·2023-12-23 03:33

腾讯高级架构师熬夜整理：中间件MyCat实战笔记，开放下载

MyCat的核心思想是分片（Sharding）和副本（Replication），它通过将数据分散到多个数据库实例中，并利用副本技术实现数据的高可用性和扩展性。
啊码·2023-12-22 05:01

shardingjdbc增加动态数据源(用于解决其不支持的SQL等)

1.配置文件spring:#动态数据源引入dynamic:strict:truedatasource:ds:driver-class-name:com.mysql.cj.jdbc.Drivertype:com.alibaba.druid.pool.DruidDataSourceurl:${secret.datasource.url}username:${secret.datasource.user
YJ_Root·2023-12-21 15:50

sharding-jdbc 实现动态分表（按年按月）

但是sharding-jdbc是固定配置的actual-data-nodes参数。也就是说我们需要提前创建好分表或者分库。
carry杰·2023-12-21 07:14

Spring Boot整合Sharding-JDBC实现强制路由

目录强制路由HintManager强制分片强制访问主库强制路由ShardingSphere使用ThreadLocal管理分片键值进行Hint强制路由。
way_more·2023-12-20 20:02

Springboot整合 ShardingSphere 实现分库分表

概述之前介绍过分布式系统中，分库分表分区的概念，可参考《分布式系统中，数据库的分表、分库和分区基本概念梳理》垂直分片按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直分片到不同的数
singleZhang2010·2023-12-20 09:09

Sharding-JDBC自定义复合分片算法

一、背景最近在看Sharding-JDBC方面的内容，此处简单记录一下使用Sharding-JDBC中的复合分片键来实现分表的方法。
huan1993·2023-12-20 01:28

【转载】百亿级数据分表后怎么分页查询？

一般我们把分表的字段称作shardingkey，比如订单表按照用户ID作为shard
f7629e2bca1c·2023-12-19 23:12

手把手教你搭建MongoDB分片式部署集群+实战

一、部署方式对比MongoDB有三种集群部署模式，分别为主从复制（Master-Slaver）、副本集（ReplicaSet）和分片（Sharding）模式。
Executing_·2023-12-18 20:17

9款日志管理工具大比拼，选型必备！

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2023-12-18 18:38

ShardingSphere-JDBC 和 ShardingSphere-Proxy，你选择哪一个

参考文章总结：只使用Java，ShardingSphere-JDBC更好有异构语言的话，ShardingSphere-Proxy更好混用也挺香
greedy-hat·2023-12-18 07:39

ShardingSphere-ShardingJdbc 数据分片(分库、分表)

摘要：我们实际开发中，总有几张和业务相关的大表，这里的大表是指数据量巨大。如用户表、订单表，又或者公司业务中的主表，可能很快这种表的数据就达到了百万、千万、亿级别的规模，并且增长规模一直很快。这种情况下，单表已经满足不了了存储需求了，同时，这么大的数据量，即使搭配合理的索引，数据库查询也是很慢的，这时就需要对这些大表进行分库、分表。应用需要能对sql进行解析、改写、路由、结果集合并等一些操作，以及
忧伤夏天的风·2023-12-18 05:43

SpringBoot 整合 Sharding-JDBC

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、sharding-jdbc简介二、使用步骤1.新建项目、引入依赖2.代码实战总结前言SpringBoot整合Sharding-JDBC
javacTree·2023-12-18 05:12

ShardingSphere 分片算法

前言测试ShardingSphere版本：5.2.0下面配置中省略部分前缀，仅供参考自动分片算法AutoShardingAlogorithm自动分片算法通常用在auto-tables中，只需配置actualDataSources
Jayin_·2023-12-18 05:12

SpringBoot整合ShardingJDBC启动报错Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required

刚开始搭建的是springBoot+mybatisplus，项目是能正常启动的，引入ShardingJDBC后，启动报Property'sqlSessionFactory'or'sqlSessionTemplate'arerequired
lyy_·2023-12-18 05:12

ShardingSphere-JDBC 的4种分片策略

目录一、标准分片策略1）使用场景2）配置3）精确查询分库分表策略4）范围查询分库分表策略二、复合分片策略1）使用场景2）配置3）代码实践4）需注意的点三、行表达式分片策略1）使用场景2）代码实践四、Hint分片策略1）使用场景2）配置3）未解决问题不到万不得已也不会采取分库分表策略，这无疑增添了复杂度，但是当单表数据超过500万，分库分表无疑也是最好的选择。至于如何查询？这就涉及到了分片策略，四种
心心念念的小鼠标·2023-12-18 05:41

springboot整合shardingsphere JDBC，雪花算法

springBoot版本2.7.3shardingsphere版本5.2.0文章目录依赖数据准备application.yaml编写modelrepositorytest依赖org.springframework.bootspring-boot-starterorg.apache.shardingsphereshardingsphere-jdbc-core-spring-boot-starter5
tcoding·2023-12-18 05:41

Spring Boot整合Sharding-JDBC实现数据脱敏

目录背景ShardingSphere脱敏规则sharding-jdbc数据脱敏数据脱敏配置数据分片+数据脱敏配置背景对互联网公司、传统行业来说，数据安全一直是极为重视和敏感的话题。
way_more·2023-12-18 05:06

ShardingSphere入门概念

ShardingSphereApacheShardingSphere是一款分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。
way_more·2023-12-18 05:36

sharding-jdbc读写分离

前言ShardingSphere学习专栏:传送门背景面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。
way_more·2023-12-18 05:05

Spring Boot学习：ShardingSphere-JDBC数据分片配置

目录前言背景垂直分片水平分片SpringBoot集成sharding-jdbcsharding-jdbc配置配置解析table-strategy分片策略1、standard2、none3、inline4
way_more·2023-12-18 05:30

ShardingSphere笔记（二）：自定义分片算法 — 按月分表

ShardingSphere笔记（二）：自定义分片算法—按月分表文章目录ShardingSphere笔记（二）：自定义分片算法—按月分表一、准备二、分表逻辑三、自定义分片算法步骤（以按月分表为例）1.SPI
MengFly_·2023-12-16 22:53

ShardingSphere笔记（三）：自定义分片算法 — 按月分表·真·自动建表

ShardingSphere笔记（二）：自定义分片算法—按月分表·真·自动建表文章目录ShardingSphere笔记（二）：自定义分片算法—按月分表·真·自动建表一、前言二、Springboot的动态数据库三
MengFly_·2023-12-16 22:53

ShardingSphereJDBC简单入门

ShardingSphere介绍ShardingSphere-JDBCSharding-Sphere-ProxyShardingSphere-Sidecar混合架构运行模式DistSQL可拔插架构ShardingSphere
org0610·2023-12-16 17:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他