分库分表

ShardingJDBC简单使用

Sharding-JDBC是当当网开源的适用于微服务的分布式数据访问基础类库，完整的实现了分库分表，读写分离和分布式主键功能，并初步实现了柔性事务。
kk变色龙13·2024-01-04 09:59

深入剖析ShardingSphere：探索其内核原理与核心源码，揭秘分库分表技术的奥秘

一、内核剖析ShardingSphere虽然有多个产品，但是他们的数据分片主要流程是完全一致的。解析引擎解析过程分为词法解析和语法解析。词法解析器用于将SQL拆解为不可再分的原子符号，称为Token。并根据不同数据库方言所提供的字典，将其归类为关键字，表达式，字面量和操作符。再使用语法解析器将SQL转换为抽象语法树(简称AST,AbstractSyntaxTree)。例如对下面一条SQL语句：SE
光芒软件工匠·2024-01-04 03:23

深度解析ShardingJDBC：Java开发者的分库分表利器

一、ShardingSphereShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮，带入到京东数科，组件团队继续开发。在国内历经了当当网、电信翼支付、京东数科等多家大型互联网企业的考验，在2017年开始开源。并逐渐由原本只关注于关系型数据库增强工具的ShardingJDBC升级成
光芒软件工匠·2024-01-04 03:53

打造专业开发者指南：针对ShardingProxy分库分表解决策略的深度剖析 – 详解部署、使用、服务治理与优化技巧

一、ShardingProxy快速使用ShardingProxy的功能同样是分库分表，但是他是一个独立部署的服务端，提供统一的数据库代理服务。
光芒软件工匠·2024-01-04 03:18

00-开篇导读：学习分库分表开源框架的正确方法

1前言互联网高速发展带来海量的信息化数据，也带来更多的技术挑战。各种智能终端设备（比如摄像头或车载设备等）以每天千万级的数据量上报业务数据，电商、社交等互联网行业更不必说。这样量级的数据处理，已经远不是传统关系型数据库的单库单表架构所能支撑的，如何高效存储和访问这些数据，成为一个非常现实且亟待解决的问题。但由于生态系统的完善性，关系型数据库仍然是数据平台核心业务的基石，具有巨大市场。虽然业界存在一
JavaEdge.·2024-01-03 11:44

一线大厂面试真题-将user表进行了分库分表，那么手机号的唯一索引是不是就失效了

概述比如我们的user表设置了手机号的唯一索引，假如用户量太大了，将user表进行了分库分表，那么手机号的唯一索引是不是就失效了，这种情况要怎么解决呢：问题分析我们先来分析这个问题。
似来·2024-01-02 20:09

集群高并发分布式唯一全局Id重要么？

在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识，如在美团点评的金融、支付、餐饮、酒店猫眼电影等产品的系统中数据逐渐增长，对数据库分库分表后需要
DEBUG调试·2024-01-02 18:09

为什么大家说mysql数据库单表最大两千万？依据是啥？

为什么这个表都放了1个亿还不分库分表"？我能说我是因为懒吗？我当初设计时哪里想到这表竟然能涨这么快。。。--我不能。说了等于承认自己是开发
Running Sun丶·2024-01-02 15:06

分库分表后,id主键处理的几种方式：

1.MySQL主键自增这个方案就是利用了MySQL的主键自增auto_increment,默认每次ID加1。优点：1).数字化,id递增2).查询效率高3).具有一定的业务可读缺点：1).存在单点问题,如果mysql挂了,就没法生成ID了2).数据库压力大,高并发抗不住2.UUID这个方案是小伙伴们第一个能过考虑到的方案优点：1).代码实现简单。2).本机生成,没有性能问题3).因为是全局唯一的I
Running Sun丶·2024-01-02 15:36

架构设计内容分享(七十一)：架构必备：10WQPS超高并发架构的10大思想

目录如何理解高并发系统1.业务分治思想+微服务拆分2.数据分治思想+分库分表3.读写分离思想+主从分离4.池化思想5.缓存思想6.异步思想+消息队列削锋7.服务保护思想：熔断降级8.限流思想9.扩容思想
之乎者也··2024-01-02 11:59

分库分表之Mycat应用学习四

4分片策略详解分片的目标是将大量数据和访问请求均匀分布在多个节点上，通过这种方式提升数据服务的存储和负载能力。4.1Mycat分片策略详解总体上分为连续分片和离散分片，还有一种是连续分片和离散分片的结合，例如先范围后取模。比如范围分片（id或者时间）就是典型的连续分片，单个分区的数量和边界是确定的。离散分片的分区总数量和边界是确定的，例如对key进行哈希运算，或者再取模。关键词：范围查询、热点数据
CopyLower·2024-01-01 22:16

分库分表之Mycat应用学习五

5Mycat离线扩缩容当我们规划了数据分片，而数据已经超过了单个节点的存储上线，或者需要下线节点的时候，就需要对数据重新分片。5.1Mycat自带的工具5.1.1准备工作1、mycat所在环境安装mysql客户端程序。2、mycat的lib目录下添加mysql的jdbc驱动包。3、对扩容缩容的表所有节点数据进行备份，以便迁移失败后的数据恢复。5.1.2步骤以取模分片表sharding-by-mod
CopyLower·2024-01-01 22:16

Redis

Redis一秒写8万次，读取11万次，NoSQL的缓存记录级，是一种细粒度的缓存，性能会比较高)数据类型是多样的(不需要事先设计数据库)发展历程单机MySQL->缓存+Mysql+垂直拆分(读写分离)->分库分表
Wirdeo·2024-01-01 16:43

【分库分表篇】分区和分表的区别

分区和分表的区别✔️解析✔️拓展知识仓✔️分区的方式✔️MySQL数据库支持的分区类型为水平分区✔️解析数据库中数据量过多，表太大的时候，不仅可以做分库分表，还可以做表分区，分区和分表类似，都是按照一定的规则将一张大表进行分解
昕宝爸爸爱编程·2024-01-01 11:39

深入探索MySQL主从架构与读写分离：提升数据安全和性能的实战指南

对于极大的数据量，还需实现分库分表。这些架构的建立相对复杂，通常由专业运维人员完成。本次实验旨在让大家理解MySQL在生产环境下的
光芒软件工匠·2023-12-31 07:59

分库分表之Mycat应用学习一

1为什么要分库分表1.1数据库性能瓶颈的出现对于应用来说，如果数据库性能出现问题，要么是无法获取连接，是因为在高并发的情况下连接数不够了。要么是操作数据变慢，数据库处理数据的效率除了问题。
CopyLower·2023-12-31 06:46

架构 - 理解架构的演进

加上网站相应使用分布式文件系统和分布式数据库使用NoSQL和搜索引擎业务拆分分布式服务示例:电商系统架构演进1.0时代2.0时代3.0时代3.1读写分离4.0业务垂直拆分4.1使用CDN来缓存信息4.2分库分表架构
小小兔在普陀山走神啊·2023-12-31 00:30

springboot实现动态数据源切换

当数据量超过500万行时，数据库就要考虑分库分表和读写分离，有些业务背景需要动态切换数据库。当controller层处理请求，需要在dao层代码执行之前能够将数据源换成我们想要执行操作的数据源。
CAUC_lin·2023-12-30 17:36

数据库常用分库分表方案

为什么需要分库分表分库分表是因应数据库处理大规模数据时所面临的挑战而出现的解决方案.//提高性能单个数据库在数据量增加时容易出现性能瓶颈。
我就是胖着玩玩的·2023-12-30 11:07

Mybaits拦截器实现水平分表

前面我们已经学习了解过了数据库常用的分库分表方案，本节以水平分表为例来实战下.需求背景最近项目中的几张表数据行超过了1000万行，所以需要对这些表进行水平分表，提高数据查询的性能。
我就是胖着玩玩的·2023-12-30 11:07

数据库分库分表

原文（https://blog.csdn.net/bieleyang/article/details/77252822）1基本思想之什么是分库分表？
mrjunwang·2023-12-30 09:23

MYSQL分库分表常见问题

什么是分库分库：是将一个数据库分成多个数据库，但是总表数不变，部署到不同机器，这样可以分担数据库的读写压力，提高系统的吞吐能力。什么是分表分表：就是一个表分成多个表，但是总体的库不变，这样可以减少单个表的数据量，提高查询性能。分库+分表分库+分表是指库和表都切分，数量都发生变化，这种情况说明数据量已经达到一定程度，无论进行哪种单独的切分都会产生性能瓶颈。如下图所示原数据库DB中有张user表，将表
Lv_Jin_Gang·2023-12-29 15:40

SpringBoot+ShardingSphereJDBC实战(读写分离，分库分表，垂直拆分、水平拆分)附源码

参考：https://www.51cto.com/article/747736.htmlhttps://blog.csdn.net/qq_41581588/article/details/126966665源码地址：[email protected]:jackXUYY/springboot-example.git读写分离测试我们启用后缀名为dev的配置文件，如下，数据库链接需要改成自己的地址库表需要自己建
caibixyy·2023-12-29 13:20

可能是全网最完整和深入的支付宝架构分析文章了，这么好的大厂架构揭密不要错过哟！...

在如此之大的支付TPS背后除了削峰等锦上添花的应用级优化，最解渴最实质的招数当数基于分库分表的单元化了，蚂蚁技术称之为LDC（逻辑数据中心）
运维之美·2023-12-29 12:19

乐观锁&悲观锁

注：下文提到的分库分表、fail-fast理念如果有需要
落雪无尘V·2023-12-29 10:22

单表数据量达多少时才建议分库分表

1.阿里巴巴开发手册建议是：【推荐】单表行数超过500万行或者单表容量超过2GB，才推荐进行分库分表。说明：如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。
小玉起起·2023-12-29 09:33

【数据库】为什么要分库分表

为什么要分库分表1.为什么要分库分表？2.垂直拆分3.水平拆分4.总结4.1逻辑库和物理库4.2逻辑表和物理表1.为什么要分库分表？
G皮T·2023-12-28 18:22

java分库分表-sharding-jdbc

java分库分表-sharding-jdbc为啥要分库分表？表数据太多，查询太慢有哪些拆分方式？
q琦一·2023-12-28 15:12

成本降低50%！好未来新一代数据架构的多租户实践

迫于分库分表的困境，以及资源隔离与资源碎片等痛点，好未来新增了OceanBase技术栈以解决问题。部分业务试点OceanBase后，提升了可用性与资源利用率，降低了运维复杂度并带
OceanBase数据库官方博客·2023-12-28 13:11

单集群400TB，OceanBase稳定支撑快手核心业务场景

通过在后端配置多套MySQL集群来支撑高流量访问，以解决大数据量存储和性能问题，这种传统的MySQL分库分表方案有何问题？快手对分布式数据库展开选型并最终大规模落地OceanBase的原因是什么？
OceanBase数据库官方博客·2023-12-28 13:39

ShardingSphere数据库分库分表、数据库中间件

shardingSphere一、了解1.1、简介1.2、垂直切分1.2、水平切分1.3、分库分表应用和问题二、Sharding-JDBC1.1、简介1.2、springboot整合实现水平分库、分表1.2.1
hmb↑·2023-12-28 08:15

数据库怎么分库分表-原理

数据库瓶颈不管是IO瓶颈还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务Service来看，就是可用数据库连接少甚至无连接可用，接下来就可以想象了（并发量、吞吐量、崩溃）。IO瓶颈：第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询会产生大量的IO，降低查询速度→分库和垂直分表。第二种：网络IO瓶颈，请求的数据太多，网络带宽不
Angus博客·2023-12-28 07:52

一文读懂MySQL分库分表的实现原理和策略

然而，MySQL在处理大量数据时会遇到瓶颈，为了解决这个问题，分库分表是一种有效的解决方案。
Luka Shaw·2023-12-28 06:10

关于MySQL、分布式系统、SpringCloud面试题

性能优化分库分表常用库：mycat、shardingsphereSharding策略哈希取模范围：时间范围、ID范围增加映射表高性能、高可用什么时候
微风至夏·2023-12-27 16:36

Shell脚本函数的基本用法介绍、Shell脚本实现mysqldump数据备份

函数的定义和作用1.定义2.作用二.函数的定义、调用和返回值1.定义函数2.调用函数3.return返回值三.函数传参四.shell实现mysqldump备份1.编写shell脚本实现使用mysqldump进行分库分表备份
树下一少年·2023-12-27 15:54

数据库——分库分表

只分库不分表当数据库的读写QPS高，导致数据库的连接不够了，通过增加数据库的实例，来增加可用连接，从而添加数据库的并发性。只分表不分库单表数据量很大，因为并发不高，数据库的连接还够，但是存储和查询的性能遇到瓶颈了，这个时候水平分表，提升效率分库1.水平分库（Sharding）：将一个库的表，水平分表到其他数据库。2.垂直分库：按照不同业务，一个业务对应一个自己的数据库。分表分表是将数据库中的一个大
可爱的小小小狼·2023-12-27 09:22

【软件系统构架】初步理解软件系统构架

文章目录前言一、动静分离二、CDN加速三、负载均衡四、微服务五、分布式六、读写分离七、分库分表八、集群部署九、消息队列十、异步处理前言在以往的学习工作中，接触到很多概念，并且很可能都不知道干嘛，就比如OSI
我辈李想·2023-12-27 09:50

⏰数据库面试宝典（更新中）

4.1四大分类4.2索引的优缺点⭐4.3聚集索引和非聚集索引4.4底层实现4.5索引的底层实现（B+树，为何不采用红黑树，B树）⭐4.6使用索引alter语句create语句4.7索引失效的sql语句5分库分表
zkFun·2023-12-27 06:26

Redis

可能面临的问题数据量太多数据的索引，一个机器内存也放不下访问量太大，服务器承受不了Memcached缓存+MySQL+垂直拆分（读写分离）发展过程：优化数据结构和索引–>文件缓存(IO)–>Memcached分库分表
伊俊客·2023-12-26 22:42

八、Seata的XA模式

目录八、Seata的XA模式8.3==XA模式多数据源场景==1环境搭建2、使⽤XA模式解决事务8.4XA模式分库分表场景8.5XA模式微服务场景1、环境搭建2、XA默认解决事务问题3、全局事务id传递问题解决
小晨想好好学习·2023-12-26 03:01

【大数据学习笔记】新手学习路线图

MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表
伊达·2023-12-25 14:54

dubbo

1单一应用架构2应用和数据库单独部署3应用和数据库集群部署4数据库压力变大，读写分离5使用缓存技术加快速度6数据库分库分表
赵恩栋·2023-12-25 11:06

9种 分布式ID生成方案，让你一次学个够

但随着数据日渐增长，主从同步也扛不住了，就需要对数据库进行分库分表，但分库分表后需要有一个唯一ID来标识一条数据，数据
JAVA这件小事·2023-12-25 10:31

微信红包业务，为什么采用轮询算法？

目录前言基本的负载算法平滑加权轮询算法一致性哈希算法最小活跃数算法最优响应算法总结前言负载均衡这个概念，几乎在所有支持高可用的技术栈中都存在，例如微服务、分库分表、各大中间件（MQ、Redis、MyCat
敲代码的程序狗·2023-12-24 21:12

MySQL主从架构及读写分离实战

集群搭建扩展：3.5、GTID同步集群4、集群扩容5、半同步复制1、理解半同步复制2、搭建半同步复制集群6、主从架构的数据延迟问题：四、MySQL的高可用方案--了解1、MMM2、MHA3、MGR五、分库分表
Memory_2020·2023-12-24 09:04

JAVA分库分表

1.1为什么需要分库分表随着平台的发展，平台的数据会越来越多。当表中的数据量过多时，数据库的性能会下降严重，很有可能会把系统给拖垮。类似于分而治之的思想，将大的问题拆分成小的问题，从而提高效率。
xiaogaotongxue__·2023-12-23 18:35

本地缓存与分布式缓存

缓存，消息队列，分库分表是高并发解决方案三剑客。
酱学编程·2023-12-23 15:34

缓存原理与设计

当访问量上万，数据库压力增大，可以采取的方案有：读写分离，分库分表当访问量达到10万、百万，需要引入缓存。将已经访问过的内容或数据存储起来，当再次访问时先找缓存，缓存命中返回数据。
biu~biu~biu_·2023-12-23 12:44

分库分表就能无限扩容吗？

扎心一问：分库分表就能无限扩容吗？作者：莫那鲁道thinkinjava.cn/2019/01/15/2019-01-16-fkfb/让我们从最初开始。
赵客缦胡缨v吴钩霜雪明·2023-12-22 11:57

数据库系列：业内主流MySQL数据中间件梳理

数据持久化还需要能应对以下复杂场景：读写分离场景：需要一主多从的架构（写主读从），支持读写请求的自动负载，支持故障驱逐和主从自动切换等，分库分表场景：随着数据库规模的变大，检索性能会下降，所以需要，支持横向
工业甲酰苯胺·2023-12-21 21:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他