分库

Spring Boot中进行分库编程

在SpringBoot中使用分库（Sharding）需要根据具体情况而定。分库是一种解决单数据库性能瓶颈和数据量大的解决方案，通过将数据分散到多个数据库中，可以提升数据库的读写性能和数据存储能力。
Byte Beat·2024-01-05 10:49

分库分表-分布式事务理论和方案

一.分布式事务理论1.1.基础概念1.1.1.什么是事务什么是事务？举个生活中的例子：你去小卖铺买东西，“一手交钱，一手交货”就是一个事务的例子，交钱和交货必须全部成功，事务才算成功，任一个活动失败，事务将撤销所有已成功的活动。明白上述例子，再来看事务的定义：事务可以看做是一次大的活动，它由不同的小活动组成，这些活动要么全部成功，要么全部失败。1.1.2.本地事务在计算机系统中，更多的是通过关系型
程序猿老徐·2024-01-05 07:42

数据库表数据量大读写缓慢如何优化（4）【分库分表】

分库分表的实现思路是什么？分库分表存在哪些不足？一、业务场景三为了便于理解，我们通过一个业务场景来入手。
我爱娃哈哈76·2024-01-04 17:08

分布式ID生成规则

但随着数据日渐增长，主从同步也扛不住了，就需要对数据库进行分库分表，但分库分表后需要有一个唯一ID来标识一条数据，数据
_micang·2024-01-04 16:50

ShardingJDBC简单使用

Sharding-JDBC是当当网开源的适用于微服务的分布式数据访问基础类库，完整的实现了分库分表，读写分离和分布式主键功能，并初步实现了柔性事务。
kk变色龙13·2024-01-04 09:59

深入剖析ShardingSphere：探索其内核原理与核心源码，揭秘分库分表技术的奥秘

一、内核剖析ShardingSphere虽然有多个产品，但是他们的数据分片主要流程是完全一致的。解析引擎解析过程分为词法解析和语法解析。词法解析器用于将SQL拆解为不可再分的原子符号，称为Token。并根据不同数据库方言所提供的字典，将其归类为关键字，表达式，字面量和操作符。再使用语法解析器将SQL转换为抽象语法树(简称AST,AbstractSyntaxTree)。例如对下面一条SQL语句：SE
光芒软件工匠·2024-01-04 03:23

深度解析ShardingJDBC：Java开发者的分库分表利器

一、ShardingSphereShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮，带入到京东数科，组件团队继续开发。在国内历经了当当网、电信翼支付、京东数科等多家大型互联网企业的考验，在2017年开始开源。并逐渐由原本只关注于关系型数据库增强工具的ShardingJDBC升级成
光芒软件工匠·2024-01-04 03:53

打造专业开发者指南：针对ShardingProxy分库分表解决策略的深度剖析 – 详解部署、使用、服务治理与优化技巧

一、ShardingProxy快速使用ShardingProxy的功能同样是分库分表，但是他是一个独立部署的服务端，提供统一的数据库代理服务。
光芒软件工匠·2024-01-04 03:18

00-开篇导读：学习分库分表开源框架的正确方法

1前言互联网高速发展带来海量的信息化数据，也带来更多的技术挑战。各种智能终端设备（比如摄像头或车载设备等）以每天千万级的数据量上报业务数据，电商、社交等互联网行业更不必说。这样量级的数据处理，已经远不是传统关系型数据库的单库单表架构所能支撑的，如何高效存储和访问这些数据，成为一个非常现实且亟待解决的问题。但由于生态系统的完善性，关系型数据库仍然是数据平台核心业务的基石，具有巨大市场。虽然业界存在一
JavaEdge.·2024-01-03 11:44

一线大厂面试真题-将user表进行了分库分表，那么手机号的唯一索引是不是就失效了

概述比如我们的user表设置了手机号的唯一索引，假如用户量太大了，将user表进行了分库分表，那么手机号的唯一索引是不是就失效了，这种情况要怎么解决呢：问题分析我们先来分析这个问题。
似来·2024-01-02 20:09

集群高并发分布式唯一全局Id重要么？

在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识，如在美团点评的金融、支付、餐饮、酒店猫眼电影等产品的系统中数据逐渐增长，对数据库分库分表后需要
DEBUG调试·2024-01-02 18:09

为什么大家说mysql数据库单表最大两千万？依据是啥？

为什么这个表都放了1个亿还不分库分表"？我能说我是因为懒吗？我当初设计时哪里想到这表竟然能涨这么快。。。--我不能。说了等于承认自己是开发
Running Sun丶·2024-01-02 15:06

分库分表后,id主键处理的几种方式：

1.MySQL主键自增这个方案就是利用了MySQL的主键自增auto_increment,默认每次ID加1。优点：1).数字化,id递增2).查询效率高3).具有一定的业务可读缺点：1).存在单点问题,如果mysql挂了,就没法生成ID了2).数据库压力大,高并发抗不住2.UUID这个方案是小伙伴们第一个能过考虑到的方案优点：1).代码实现简单。2).本机生成,没有性能问题3).因为是全局唯一的I
Running Sun丶·2024-01-02 15:36

架构设计内容分享(七十一)：架构必备：10WQPS超高并发架构的10大思想

目录如何理解高并发系统1.业务分治思想+微服务拆分2.数据分治思想+分库分表3.读写分离思想+主从分离4.池化思想5.缓存思想6.异步思想+消息队列削锋7.服务保护思想：熔断降级8.限流思想9.扩容思想
之乎者也··2024-01-02 11:59

分库分表之Mycat应用学习四

4分片策略详解分片的目标是将大量数据和访问请求均匀分布在多个节点上，通过这种方式提升数据服务的存储和负载能力。4.1Mycat分片策略详解总体上分为连续分片和离散分片，还有一种是连续分片和离散分片的结合，例如先范围后取模。比如范围分片（id或者时间）就是典型的连续分片，单个分区的数量和边界是确定的。离散分片的分区总数量和边界是确定的，例如对key进行哈希运算，或者再取模。关键词：范围查询、热点数据
CopyLower·2024-01-01 22:16

分库分表之Mycat应用学习五

5Mycat离线扩缩容当我们规划了数据分片，而数据已经超过了单个节点的存储上线，或者需要下线节点的时候，就需要对数据重新分片。5.1Mycat自带的工具5.1.1准备工作1、mycat所在环境安装mysql客户端程序。2、mycat的lib目录下添加mysql的jdbc驱动包。3、对扩容缩容的表所有节点数据进行备份，以便迁移失败后的数据恢复。5.1.2步骤以取模分片表sharding-by-mod
CopyLower·2024-01-01 22:16

Redis

Redis一秒写8万次，读取11万次，NoSQL的缓存记录级，是一种细粒度的缓存，性能会比较高)数据类型是多样的(不需要事先设计数据库)发展历程单机MySQL->缓存+Mysql+垂直拆分(读写分离)->分库分表
Wirdeo·2024-01-01 16:43

【分库分表篇】分区和分表的区别

分区和分表的区别✔️解析✔️拓展知识仓✔️分区的方式✔️MySQL数据库支持的分区类型为水平分区✔️解析数据库中数据量过多，表太大的时候，不仅可以做分库分表，还可以做表分区，分区和分表类似，都是按照一定的规则将一张大表进行分解
昕宝爸爸爱编程·2024-01-01 11:39

深入探索MySQL主从架构与读写分离：提升数据安全和性能的实战指南

对于极大的数据量，还需实现分库分表。这些架构的建立相对复杂，通常由专业运维人员完成。本次实验旨在让大家理解MySQL在生产环境下的
光芒软件工匠·2023-12-31 07:59

mycat+mysql实现数据库集群分表分库

前言按套路这里应该先安利一下mycat，还是自行百度吧，留个网站附加一张原理图就很明了了。网站：http://mycat.io/20170224224920432.pngmycat就可以简单理解为企业级mysql集群工具，基于阿里的Cobar发展而来的，用于解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。准备工作建库建表有3张表users,item,item_detail(item的子表)和3
先生_吕·2023-12-31 06:43

分库分表之Mycat应用学习一

1为什么要分库分表1.1数据库性能瓶颈的出现对于应用来说，如果数据库性能出现问题，要么是无法获取连接，是因为在高并发的情况下连接数不够了。要么是操作数据变慢，数据库处理数据的效率除了问题。
CopyLower·2023-12-31 06:46

2022-01-04 day63 mysql安装与多实例

安装配置基本使用基本故障处理中级:运维在这里就可以体系结构备份策略故障恢复基础优化(索引，执行计划，慢日志)高可用架构(搭建，监控，故障处理，架构演变)高级:高可用架构(设计，实施，运维)高性能架构(读写分离，分库
zhaocheng690·2023-12-31 03:03

架构 - 理解架构的演进

加上网站相应使用分布式文件系统和分布式数据库使用NoSQL和搜索引擎业务拆分分布式服务示例:电商系统架构演进1.0时代2.0时代3.0时代3.1读写分离4.0业务垂直拆分4.1使用CDN来缓存信息4.2分库分表架构
小小兔在普陀山走神啊·2023-12-31 00:30

腾讯云服务容器死循环重启，仅供参考

以下场景仅为本人所遇到的场景，不通用仅供参考项目场景：项目场景：多租户集团分库，请求头集团入参，自动化校验集团入参，新平台上线之后容器死循环重启问题描述：原有一个集团编码过滤器，在被同事删除之后就发现构建服务后腾讯云服务容器死循环重启原因分析
小阳小朋友·2023-12-30 23:17

springboot实现动态数据源切换

当数据量超过500万行时，数据库就要考虑分库分表和读写分离，有些业务背景需要动态切换数据库。当controller层处理请求，需要在dao层代码执行之前能够将数据源换成我们想要执行操作的数据源。
CAUC_lin·2023-12-30 17:36

数据库常用分库分表方案

为什么需要分库分表分库分表是因应数据库处理大规模数据时所面临的挑战而出现的解决方案.//提高性能单个数据库在数据量增加时容易出现性能瓶颈。
我就是胖着玩玩的·2023-12-30 11:07

Mybaits拦截器实现水平分表

前面我们已经学习了解过了数据库常用的分库分表方案，本节以水平分表为例来实战下.需求背景最近项目中的几张表数据行超过了1000万行，所以需要对这些表进行水平分表，提高数据查询的性能。
我就是胖着玩玩的·2023-12-30 11:07

数据库分库分表

原文（https://blog.csdn.net/bieleyang/article/details/77252822）1基本思想之什么是分库分表？
mrjunwang·2023-12-30 09:23

缓存原理和设计

当访问量上万，数据库压力增大，可以采取的方案有:读写分离，分库
奋斗的蛐蛐·2023-12-29 20:14

MYSQL分库分表常见问题

什么是分库分库：是将一个数据库分成多个数据库，但是总表数不变，部署到不同机器，这样可以分担数据库的读写压力，提高系统的吞吐能力。
Lv_Jin_Gang·2023-12-29 15:40

SpringBoot+ShardingSphereJDBC实战(读写分离，分库分表，垂直拆分、水平拆分)附源码

参考：https://www.51cto.com/article/747736.htmlhttps://blog.csdn.net/qq_41581588/article/details/126966665源码地址：[email protected]:jackXUYY/springboot-example.git读写分离测试我们启用后缀名为dev的配置文件，如下，数据库链接需要改成自己的地址库表需要自己建
caibixyy·2023-12-29 13:20

8000 字 + 21 张图，服务端高并发分布式架构 14 次演进之路

单机架构3.2第一次演进：Tomcat与数据库分开部署3.3第二次演进：引入本地缓存和分布式缓存3.4第三次演进：引入反向代理实现负载均衡3.5第四次演进：数据库读写分离3.6第五次演进：数据库按业务分库
中v中·2023-12-29 13:13

可能是全网最完整和深入的支付宝架构分析文章了，这么好的大厂架构揭密不要错过哟！...

在如此之大的支付TPS背后除了削峰等锦上添花的应用级优化，最解渴最实质的招数当数基于分库分表的单元化了，蚂蚁技术称之为LDC（逻辑数据中心）
运维之美·2023-12-29 12:19

乐观锁&悲观锁

注：下文提到的分库分表、fail-fast理念如果有需要
落雪无尘V·2023-12-29 10:22

单表数据量达多少时才建议分库分表

1.阿里巴巴开发手册建议是：【推荐】单表行数超过500万行或者单表容量超过2GB，才推荐进行分库分表。说明：如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。
小玉起起·2023-12-29 09:33

【数据库】为什么要分库分表

为什么要分库分表1.为什么要分库分表？2.垂直拆分3.水平拆分4.总结4.1逻辑库和物理库4.2逻辑表和物理表1.为什么要分库分表？
G皮T·2023-12-28 18:22

java分库分表-sharding-jdbc

java分库分表-sharding-jdbc为啥要分库分表？表数据太多，查询太慢有哪些拆分方式？
q琦一·2023-12-28 15:12

成本降低50%！好未来新一代数据架构的多租户实践

迫于分库分表的困境，以及资源隔离与资源碎片等痛点，好未来新增了OceanBase技术栈以解决问题。部分业务试点OceanBase后，提升了可用性与资源利用率，降低了运维复杂度并带
OceanBase数据库官方博客·2023-12-28 13:11

单集群400TB，OceanBase稳定支撑快手核心业务场景

通过在后端配置多套MySQL集群来支撑高流量访问，以解决大数据量存储和性能问题，这种传统的MySQL分库分表方案有何问题？快手对分布式数据库展开选型并最终大规模落地OceanBase的原因是什么？
OceanBase数据库官方博客·2023-12-28 13:39

SpringBoot多数据源配置

文章目录1SpringBoot分库配置1.1准备数据1.2springboot+mybatis使用分包方式整合1.2.1pom.xml1.2.2application.yml配置文件1.2.3连接数据源配置文件
爱吃牛肉的大老虎·2023-12-28 08:59

ShardingSphere数据库分库分表、数据库中间件

shardingSphere一、了解1.1、简介1.2、垂直切分1.2、水平切分1.3、分库分表应用和问题二、Sharding-JDBC1.1、简介1.2、springboot整合实现水平分库、分表1.2.1
hmb↑·2023-12-28 08:15

数据库怎么分库分表-原理

IO瓶颈：第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询会产生大量的IO，降低查询速度→分库和垂直分表。第二种：网络IO瓶颈，请求的数据太多，网络带宽不
Angus博客·2023-12-28 07:52

一文读懂MySQL分库分表的实现原理和策略

然而，MySQL在处理大量数据时会遇到瓶颈，为了解决这个问题，分库分表是一种有效的解决方案。
Luka Shaw·2023-12-28 06:10

关于MySQL、分布式系统、SpringCloud面试题

性能优化分库分表常用库：mycat、shardingsphereSharding策略哈希取模范围：时间范围、ID范围增加映射表高性能、高可用什么时候
微风至夏·2023-12-27 16:36

Shell脚本函数的基本用法介绍、Shell脚本实现mysqldump数据备份

函数的定义和作用1.定义2.作用二.函数的定义、调用和返回值1.定义函数2.调用函数3.return返回值三.函数传参四.shell实现mysqldump备份1.编写shell脚本实现使用mysqldump进行分库分表备份
树下一少年·2023-12-27 15:54

数据库——分库分表

只分库不分表当数据库的读写QPS高，导致数据库的连接不够了，通过增加数据库的实例，来增加可用连接，从而添加数据库的并发性。
可爱的小小小狼·2023-12-27 09:22

【软件系统构架】初步理解软件系统构架

文章目录前言一、动静分离二、CDN加速三、负载均衡四、微服务五、分布式六、读写分离七、分库分表八、集群部署九、消息队列十、异步处理前言在以往的学习工作中，接触到很多概念，并且很可能都不知道干嘛，就比如OSI
我辈李想·2023-12-27 09:50

⏰数据库面试宝典（更新中）

4.1四大分类4.2索引的优缺点⭐4.3聚集索引和非聚集索引4.4底层实现4.5索引的底层实现（B+树，为何不采用红黑树，B树）⭐4.6使用索引alter语句create语句4.7索引失效的sql语句5分库分表
zkFun·2023-12-27 06:26

Redis

可能面临的问题数据量太多数据的索引，一个机器内存也放不下访问量太大，服务器承受不了Memcached缓存+MySQL+垂直拆分（读写分离）发展过程：优化数据结构和索引–>文件缓存(IO)–>Memcached分库分表
伊俊客·2023-12-26 22:42

NET中使用SQLSugar操作sqlserver数据库

主要特点：简单易用、功能齐全、高性能、轻量级、服务齐全、支持全自动分表组件，SAAS分库，大数据处理的ORM。二、迁移和建表安装包：SqlSugar
我是一只小小鱼~·2023-12-26 21:22
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他