分库分表

MySQL 高可用架构

生产环境数据量极为庞大，对性能和安全要求很高，单机的MySQL是远远达不到的，所以必须搭建一个主从复制架构，同时可以基于一些工具实现高可用架构，在此基础上，基于一些中间件实现读写分离架构，如果数据量非常庞大，还要考虑分库分表
超的博客·2023-11-28 18:09

微信红包业务，为什么采用轮询算法？

目录前言基本的负载算法平滑加权轮询算法一致性哈希算法最小活跃数算法最优响应算法总结前言负载均衡这个概念，几乎在所有支持高可用的技术栈中都存在，例如微服务、分库分表、各大中间件（MQ、Redis、MyCat
Java码农·2023-11-28 16:26

浅谈mysql数据库分库分表那些事-亿级数据存储方案

一、概述mysql分库分表一般有如下场景垂直分表(将表分为主表和扩展表)垂直分库(将表按业务归属到不同的库,如订单相关的放到订单库,用户相关的表放到用户库等,这也是我们常说的权限回收其中的一部分)水平拆表
浅谈架构·2023-11-28 15:52

MySQL的分库分表分区

1.分库在我们的常见中，正常的都是说在一个库里面有多个表，例如，在某个学校数据库中，有学生表，成绩表，学分表等等，这个数据存储方式就是单库多表。当数据量变的很多的时候，例如银行系统，或者淘宝这种的，交易量每天都会很多，有的时候甚至会暴增，例如双十一，这个时候如果是一个库的话压力就可能变得很大，一个库就会影响我们的效率，这里就会使用到分库来缓解服务器的压力，实现负载均衡。分库，主要是为了海量数据的存
隐藏在人群中的程序猿·2023-11-28 10:42

【shardingjdbc】sharding-jdbc分库分表入门demo及原理分析

文章目录场景配置：概念及原理:代码:思考:本文中，demo案例涉及场景为shardingjdbc的分库情况。通俗点说就是由原来的db0_table水平拆分为db1t_table，db2.t_table。demo本身很简单，难点在于分片策略配置到底该怎么写，以及引发一些延伸的思考。代码是复制粘贴的事，思维是决定一个人上下限的事。不同版本之间的分片配置写法可能有差异，虽然短短几行配置博主也是花了点时间
孟秋与你·2023-11-28 07:52

基于CentOS7 常用shell脚本集合

6、MySQL数据库分库备份7、MySQL数据库分库分表备份8、筛选符合长度的单词9、比较整数大小10、菜单选择11、同时检测多个url是否正常（实际工作)12、Nginx进程检查（通用）MySQL服务
Tony带水!·2023-11-27 15:51

分库分表的 21 条法则，hold 住！

大家好，我是小富～技术交流：欢迎关注：程序员小富（一）好好的系统，为什么要分库分表？
书火网_firebook·2023-11-27 09:33

用了8年MQ！聊聊消息队列的技术选型，哪个最香！

消息队列，缓存，分库分表是高并发解决方案三剑客，而消息队列是我最喜欢，也是思考最多的技术。我想按照下面的四个阶段分享我与消息队列的故事，同时也是对我技术成长经历的回顾。
Java码农·2023-11-27 09:33

rdf-file：分布式环境下的文件处理

给机构文件：分库分表数据，每个分表生成一个分片文件，最终合成一个完整文件。
风流 少年·2023-11-27 06:50

走近科学之《MySQL 的秘密》

走近科学之《MySQL的秘密》mysql存储引擎、索引、执行计划、事务、锁、分库分表、优化1、存储引擎（storageengines）存储引擎规定了数据存储时的不同底层实现，如存储机制、索引、锁、事务等
红衣女妖仙·2023-11-27 03:43

项目中高并发如何处理

在项目中处理高并发主要需要考虑以下几个方面的策略：优化数据库设计：使用合适的数据结构、索引和查询优化技术可以显著提高数据库的响应性能；分库分表使用缓存：缓存是一种非常有效的处理高并发的方法。
贝la·2023-11-27 02:40

为什么分库分表后不建议跨分片查询

写在前面：如果对分库分表还不是很熟悉的，可以参考笔者之前的文章《分库分表技术演进暨最佳实践》。在这篇文章中提到了一个场景，即电商的订单。
阿飞的博客·2023-11-26 21:23

分库分表场景&策略

原文地址：https://www.jianshu.com/p/3f8395402f58数据库瓶颈不管是IO瓶颈还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务Service来看，就是可用数据库连接少甚至无连接可用，接下来就可以想象了（并发量、吞吐量、崩溃）。IO瓶颈第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询会产生大量的
程序员的自我修养·2023-11-26 11:20

②⑩① 【MySQL】什么是分库分表？拆分策略有什么？什么是MyCat？

个人简介：Java领域新星创作者；阿里云技术博主、星级博主、专家博主；正在Java学习的路上摸爬滚打，记录学习的过程~个人主页：.29.的博客学习社区：进去逛一逛~目录②⑩①【MySQL】什么是分库分表
.29.·2023-11-26 07:12

shardingsphere-分库分表示例

例子很详细，Mark，侵删https://www.cnblogs.com/suixing123/p/13921688.html
蒲月朔四·2023-11-26 06:05

MySQL：互联网公司常用分库分表方案汇总！

一、数据库瓶颈不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。1、IO瓶颈第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度->分库和垂直分表。第二种：网络IO瓶颈，请求的数据太多
技术栈·2023-11-26 03:21

MySQL该如何将月增上亿条数据的单表处理方案优雅落地？

引言分库分表实战内容基本上很少有人去分享，在网上能够搜出来的也大多属于一些方法论，但大部分技术开发真正缺少的恰恰是这些实操经验，所以后续的内容多以实践为主，携手诸位真正彻底悟透分库分表相关的技术。
Java技术攻略·2023-11-25 13:36

新人如何快速上手新项目？

单库、单表或单库、多个分表：之所以分表是为了给后续分库做预留准备2、分库分表、读写分离最常见的存储架构，适用于十亿级别以下的数据（单表控制在千万级别或以下），并发量较大、主备高可用的场景。
被基金支配的打工人·2023-11-25 08:15

【经验】分布式 ID 方案对比:UUID/数据库主键自增/Redis自增/雪花算法

举个例子，数据库的ID字段在单体的情况下可以使用自增来作为ID，但是对数据分库分表后一定需要一个唯一的ID来标识一条数据，这个ID就是分布式ID。
笔名辉哥·2023-11-25 04:06

分库分表如何处理主键ID

当关系型数据库数据量过大时，通常会采用分库分表降低数据库查表压力。分库分表有多种，有分一个库多张分表额，有分多个库多张表的。一般分库分表使用ShardingSphere分表，建分片键等。
CAT_cwds·2023-11-24 12:06

亿级订单数据分库分表设计方案（满足多维度查询：订单号、用户、商家、渠道）

根据业务初步预估订单业务量，每天500万的数据。我们将订单数据划分为了2大类型：分别为热数据和冷数据。热数据：1个月内的订单数据，查询实时性较高;冷数据：归档订单数据，查询频率不高;根据实际业务场景，用户基本不会操作或查询2个星期以上的数据，如果这部分数据存储在DB中，那么成本会非常高，而且也不方便维护。另外，如果有特殊情况需要访问归档数据，可以走离线数据查看。对于这2类数据，规划如下：热数据：使
路上阳光·2023-11-24 10:12

分库分表的几种常见玩法及如何解决跨库查询等问题

在谈论数据库架构和数据库优化的时候，我们经常会听到“分库分表”、“分片”、“Sharding”…这样的关键词。
程序员BUG·2023-11-24 05:13

图解分库分表

中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。垂直拆分比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。水平拆分的概念，是同一个业务数据量大之后，进行水平拆分。上图中订单数据达到了4000万，我们也知道mysql单表存储量推荐是百万级，如果不进行处理，mysql单表数据太大，会导致性能变慢。使
小小哭包·2023-11-23 22:02

ShardingSphere-JDBC实现分库分表

建表2个库，4个表--------------------------------Tablestructureforadmin0------------------------------DROPTABLEIFEXISTS`admin0`;CREATETABLE`admin0`(`id`bigint(20)NOTNULL,`role_id`bigint(20)NULLDEFAULTNULL,`us
热爱技术的小陈·2023-11-23 20:47

一致性哈希算法 mysql_一致性哈希

在Mysql数据库要存储的量达到一个很高的地步的时候,我们会对数据库进行分库分表操作。
伊名乎·2023-11-23 19:43

【找到的比较好的项目】马上拿走

项目地址以及讲解：git:https://gitee.com/XhyQAQb站：https://space.bilibili.com/152686439分库分表路由组件项目名称：Xhy-DBRouter
墨苏玩电脑·2023-11-23 14:32

springboot项目基于jdk17、分布式事务seata-server-1.7.1、分库分表shardingSphere5.2.1开发过程中出现的问题

由于项目需要，springboot项目需基于jdk17环境开发，结合nacos2.0.3、分布式事务seata-server-1.7.1、分库分表shardingSphere5.2.1等，项目启动过程中出现的问题解决方式小结
mys328·2023-11-23 12:34

MySQL面试，MySQL事务，MySQL锁，MySQL集群，主从，MySQL分区，分表，InnoDB

文章目录数据库-MySQLMySQL主从、集群模式简单介绍1、主从模式Replication2、集群模式3、主从模式部署注意事项UNION和UNIONALL区别分库分表1.垂直拆分2、水平拆分MySQL
皮皮攻城狮·2023-11-23 06:11

分布式架构系统生成全局唯一序列号的一个思路

一、相关背景分布式架构下，唯一序列号生成是我们在设计一个系统，尤其是数据库使用分库分表的时候常常会遇见的问题。当分成若干个sharding表后，如何能够快速拿到一个唯一序列号，是经常遇到的问题。
锋神丶·2023-11-23 06:07

【干货】浅谈分布式数据库中间件之分库分表

分库分表，顾名思义就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。那么关于分库分表，你了解多少呢？
中间件小哥·2023-11-23 01:59

java数据库之sql优化

一、导致SQL慢的原因（1）硬件问题：网络慢，IO慢，内存不足，吞吐量小，磁盘空间满（2）Sql写法问题（3）数据过多，分库分表（4）索引失效（5）服务器调优及各个参数设置二、分析原因时，一定要找切入点
这一刻_776b·2023-11-22 15:02

分布式系统中通过redis生成自增长唯一id 号

前言：在分布式环境中数据分库分表后通过数据库自增加是无法保证id的唯一性，这个时候可以利用Redis的数自增长原子操作来实现id的唯一。
miss味道·2023-11-22 14:48

5种全局ID生成方式的优缺点及改进方案

在设计初期，我们需要考虑日后数据量的级别，如果可能会对数据进行分库分表，那么就需要有一个全局唯一id来标识一条数据或记录。生成唯一id的策略有多种，但是每种策略都有它的适用场景、优点以及局限性。
吴名氏.·2023-11-22 13:55

es入门以及索引原理学习

搜索功能问题分库分表数据查询（存储）大数据量亿级别/PB级别查询（性能）分词查询全文索引全文索引时将存储在数据库中的整本书或整篇文章中的任意内容信息查找出来的技术。
_三石_·2023-11-22 10:30

Redis+整合SpringDataRedis

和缓存的背景数据库架构设计的发展史第一阶段：单库：随着访问量的增加出现了性能问题第二阶段：缓存：通过缓存，缓解数据库的压力，优化数据结构和索引第三阶段：读写分离：数据写入的压力增加，主从复制和读写分离的方案进入视野第四阶段：分库分表
程序员小庞·2023-11-22 07:35

MySQL 分库分表方案总结

1.为什么要分表：当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。2.mysqlproxy：a
程序员BUG·2023-11-22 03:20

NewSQL之TiDB分布式数据库初步实践

TIDB公司数据量激发到数十亿条，且每日增量在两千万左右，mysql的分库分表已经没办法承受日益增大的数据量，因为涉及到交易，需要事务支持，所以综合考虑改换用TIDB作为数据存储，mysql作为配置表存放位置
我小叮当无可奈何·2023-11-21 18:03

mycat分库分表实战

之前我们已经讲解过了数据的切分，主要有两种方式，分别是垂直切分和水平切分，所谓的垂直切分就是将不同的表分布在不同的数据库实例中，而水平切分指的是将一张表的数据按照不同的切分规则切分在不同实例的相同名称的表中。下面先来描述mycat的分库操作,在进行分库操作的时候需要注意一点：有关联关系的表应该放在一个库里，相互没有关联关系的表可以分到不同的库中。详情参考：http://www.ysxbohui.c
YT博烩·2023-11-21 11:27

09_03_分库分表技术之MyCat实战

分库分表技术分库分表技术之MyCat1.海量存储问题1.1背景描述如今随着互联网的发展，数据的量级也是成指数的增长，从GB到TB到PB。
广+土·2023-11-21 11:54

Mycat2（四）mycat2 分库分表

文章目录一、分库分表原理垂直切分：分库水平切分：分表二、分库分表环境准备示例：开始准备环境三、实现分库分表3.1分库分表--广播表（BROADCAST）3.2分库分表--分片表（dbpartition、
Huathy-雨落江南，浮生若梦·2023-11-21 11:48

MyCat分库分表--实战07--按日期天

项目环境：192.168.8.30mycat192.168.8.31node1192.168.8.32node2192.168.8.33node3三个节点MySQL均为单实例一、创建测试库node1create database testdb01;create database testdb02;create database testdb03;create database testdb04;c
StevenBeijing·2023-11-21 11:42

MyCat分库分表--实战02--分片枚举

项目环境：192.168.8.30mycat192.168.8.31node1192.168.8.32node2192.168.8.33node3三个节点MySQL均为单实例一、创建测试数据node1create database testdb01;create database testdb02;create database testdb03;create database testdb04;
StevenBeijing·2023-11-21 11:42

Mycat应用2-分库分表实战

文章目录一.配置规则1.分片方式2.配置规则二.连续分片1.自定义数字范围分片2.按日期分片3.按单月小时分片4.按自然月分片三.离散分片1.枚举分片2.程序指定分区的分片3.十进制求模分片4.字符串hash解析分片5.一致性哈希分片四.综合分片1.范围求模分片2.日期范围hash分片3.取模范围约束分片4.ASCII码求模范围约束（字符串）5.固定分片hash（二进制）六.分片策略一.配置规则1
布史·2023-11-21 11:38

【Mycat2实战】四、Mycat实现分库分表【概念篇】

1.什么是分库分表首先，我们需要知道**所谓"分库分表"，根本就不是一件事儿，而是三件事儿，**他们要解决的问题也都不一样。这三个事儿分别是"只分库不分表"、“只分表不分库”、以及"既分库又分表"。
笑小枫·2023-11-21 11:34

分库分表实战（6）：小试牛刀 — 千万级数据之sql优化上篇

V-X：ruyuanhadeng获得600+页原创精品文章汇总PDF前言通过前几期文章的积累，现在我们的理论知识已经极为扎实了，这个时候就可以动手开始sql优化了，sql优化是非常重要，因为即使再好的MySQL设计架构，也扛不住一个频繁查询的垃圾sql语句。关于sql的优化，我们也是有一定的原则和先后顺序的，大体的步骤的我们用一张流程图来看一下：总体呢，大概可以分为以下几个步骤：（1）首先，我们得
石杉的架构笔记·2023-11-21 09:42

MySQL数据库成为瓶颈后，动态数据的查询要如何加速？

一般电商系统在完成DB主从分离和分库分表后，可支撑十几万DAU。DB分了主库和、从库，数据也被切分到多个DB节点。
java码哥·2023-11-20 22:55

分布式架构知识体系必读

2.关键词节点，时间，一致性，CAP，ACID，BASE，P2P，机器伸缩，网络变更，负载均衡，限流，鉴权，服务发现，服务编排，降级，熔断，幂等，分库分表，分片分区，自动运维，容错处理，全栈监控，故障恢复
zl1zl2zl3·2023-11-20 20:43

Java性能优化最佳实践，附答案

蚂蚁金服面试题四，美团面试题五，携程面试题六，所有面试题所得结论通过面试题来看，可以看出目前互联网公司面试考点为：性能调优、算法数据机构高并发下数据安全、接口冪等性、原子性等分布式下协同、已经锁的处理数据库的分库分表
最新Java面经·2023-11-20 08:01

分库分表

分库，分表，分库分表“只分库“，“只分表“，“既分库又分表"何时分库在面对高并发的情况下，数据库连接成为性能瓶颈。当数据QPS过高导致数据库连接数不足时，考虑分库。
Zevin~·2023-11-20 07:58

读写分离技术架构图

读写分离技术架构图由上图来做的情况下:Sharding-JDBC核心功能:提供一主多从的读写分离配置，可独立使用，也可配合分库分表使用。独立使用读写分离支持SQL透传。
程序员山子·2023-11-20 06:50
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他