Shard

国际财务系统基于ShardingSphere的数据分片和一主多从实践

作者：京东物流张广治1背景传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。每到月初国际财务系统压力巨大，因为月初有大量补全任务，重算、计算任务、账单生成任务、推送集成等都要赶在月初1号完成，显然我们需要一个支持
·2023-02-16 20:23

“12306” 是如何支撑百万 QPS 的？

源码精品专栏原创|Java2019超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2023-02-16 20:28

国际财务系统基于ShardingSphere的数据分片和一主多从实践

作者：京东物流张广治1背景传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。每到月初国际财务系统压力巨
京东云开发者·2023-02-16 10:00

如何使用 Terraform 在亚马逊云科技上创建 ShardingSphere Proxy 高可用集群？

背景介绍TerraformTerraform[1]是一个Hashicorp[2]开源的基础设施自动化编排工具，使用IaC的理念来管理基础设施的变更，并得到了亚马逊云科技，GCP，AZURE等公有云厂商的支持以及社区提供的各种各样的provider，已成为「基础设施即代码」领域最流行的实践方式之一，Terraform有以下优点：支持多云部署Terraform适用于多云方案，将类似的基础结构部署到阿里
·2023-02-07 12:10

2019-07-01 elasticsearch force merge 步骤 原创

elasticsearch版本5.6从索引的维度,使用catapi查看每个索引shards,segment的个数.这样就能查看出哪些索引需要做forcemerge.下面的以segmentcount为倒序查看所有索引的
oo_思维天空·2023-02-07 01:58

通过shardingsphere实现mysql读写分离

先引依赖环境就不说了就springboot那一套我自己搭的简陋框架也没做过多的封装也没引太多的依赖com.alibabadruid-spring-boot-starter1.1.16org.apache.shardingspheresharding-jdbc-spring-boot-starter4.0.0
各种萌新·2023-02-06 23:56

Elastic Search 读写底层执行过程

客户端选择一个node发送请求过去，这个node就是coordinatingnode（协调节点）2）coordinatingnode，对document进行路由，将请求转发给对应的node（有primaryshard
JustBull·2023-02-06 16:48

我在苦海中前进，只为寻找那一丝的美好

我在苦海中前进，只为寻找那一丝美好“Islifealwaysthishard，,orisitjustwhenyouareakid？”
笑起来像花栗鼠·2023-02-06 10:23

GitHub 标星 10,000+，Apache 顶级项目 ShardingSphere 的开源之路

的确，过去十数年间，中国开源一直呈现企业热使用热社区冷开发冷的景象，不过现在正在显著发生变化，从ApacheShardingSphere的成长历程就可以一窥。
CrisAppleYan·2023-02-06 09:22

2022-09-09

ES分片问题"ValidationFailed:1:thisactionwouldadd[2]shards,butthisclustercurrentlyhas[999]/[1000]永久扩容curl-XPUT-H"Content-Type
coderTG·2023-02-06 07:28

sharding-jdbc(3.0.0)源码解析-insert执行流程分析

是一个在客户端的数据源层面实现分库分表的中间件，对应分析源码首先要找到代码执行的入口，对于一个数据库操作入口当然是Statement的相关接口，所以我们应该抛开各种ORM框架,用原始的Statement来分析sharding-jdbc
李_lifuqing·2023-02-05 23:37

Day thirty-two.

MondayJuly15.2019FineThemathissodifficultforme,Iforgotalmosteverythingabouthighschool,soit'shardformetolearn.Andthen
Black__hole·2023-02-05 23:47

漫画数据中心网络“卷”AI：迟到不可怕，可怕的是别人都没迟到

谷歌公司的GShard论文中“用”了一个AI新量词：22.4TPUYear。用我大学英语四级的水平翻译一下，一个AI模型在一个TPU处理器上训练时间长达22.4年。“十八年后又是一条好汉……”
松鼠协会总动员·2023-02-05 13:21

使用预训练模型进行图片分类

项目结构：data：|----mobileNet:|----|----web_model:|----|----|----group1-shard1of1.bin|----|----|----model.jsonmobileNet
.Thinking.·2023-02-05 13:12

MySQL高级

ShardingSphereSharding-JDBC,轻量级java框架，java的jdbc层提供额外的服务Sharding-ProxySharding-SideCarSharding-JDBC主要功能数据库分片分布式事务数据库治理初始化流程根据配置信息生成
极速魔法·2023-02-04 20:30

NewSQL

NewSQL分成三类：NewArchitecture、TransparentShardingMiddleware、Database-as-a-Service。
DaSE_Bee·2023-02-04 13:12

MongoDB 4.0 事务实现快速上手

MongoDB4.0引入了多文档事务的支持，不过目前仅限于单个复本集（replicasets）的支持，预计4.2可以看到对Sharding架构的分布式事务支援。
nieops·2023-02-03 09:27

野性的呼唤~42

Buckswamashardashecouldto
爱机车的异乡人·2023-02-03 03:10

【诗译】The stars（芬兰 伊迪斯.索德格朗 石皮 译）

Don'tgooutinthegrasswithbarefeet;Myyardisfullofshards.星星（伊迪斯.索德格朗石皮翻译）当夜色降临我站在台阶上倾听；群星们蜂拥于
竹间石皮·2023-02-03 01:39

MongoDB-数据分片

服务器已经不能满足大量的插入操作想通过把大数据放到内存中来提高性能实际分片步骤创建一个配置服务器创建路由服务器，并且连接配置服务器路由是调用mongos命令添加2个分片数据库8081和8082利用路由为集群添加分片（允许本地访问）db.runCommand({addshard
xlhzj·2023-02-02 21:10

ElasticSearch 学习笔记 20191215

节点存储数据，参与Index&Search运算索引Index索引是文档的集合，索引名称只能是小写的文档Document文档是信息的基本单元，被Index的信息，就是文档；文档的格式只能是JSON；分片（Shards
半个王国·2023-02-02 19:01

Elasticsearch|一文理清elasticsearch的核心概念

它和倒排索引、分片（shard）以及段（segment）的关系是啥？这些作为elasticsearch中非常核心的概念，有必要弄明白。
猩球驿站·2023-02-02 14:58

2、elasticsearch聚合条件

:0,"aggs":{"group_by_status":{"terms":{"field":"age","size":10}}}}结果如下{"took":1,"timed_out":false,"_shards
Jared73·2023-02-02 08:32

2020-09-22

1.创建索引puthttp://ip:9200/bos-base-tenant-2020-09-22-log{"settings":{"index":{"number_of_shards":1,"number_of_replicas
李桥·2023-02-02 04:54

想想西西的ScalersTalk第七轮新概念朗读持续力训练Day8 2021.10.22

Lesson8ThebestandtheworstJoeSandershasthemostbeautifulgardeninourtown.Nearlyeverybodyentersfor'TheNicestGardenCompetition'eachyear,butJoewinseverytime.BillFrith'sgardenislargerthanJoe's.Billworksharde
想想西西·2023-02-01 19:58

分库分表后，测试小姐姐都哭了

嘿嘿背景做过分表的（单库分表或者分库分表）都知道，在你没有依赖任何中间件之前，使用Navicat或者其他类似工具操作MySQL，那将是灾难，如下图所示：shardingtable
阿飞的博客·2023-02-01 01:38

PhotonServer插件教程

每个客户端有属于自己颜色的盒子4.服务器和客户端的一些常用的回调5.单击改变盒子颜色，双击销毁自己创建的盒子，双击销毁其他客户端创建的盒子无效6.GUI的工具栏，按钮，提示文本的绘制7.文本提示闪烁切换效果的实现8.俩种Sharder
街头顽禽·2023-02-01 01:59

iOS渲染相关的知识

深入理解iOSRenderingProcessUIKit->CoreAnimation->OpenGLES&CoreGraphics->GraphicsHardwareCoreAnimation本质上可以理解为是一个复合引擎
内心强大的Jim·2023-01-31 18:31

《跟哈登学英语》第五期——大结局

Intheend,theHoustonRocketsdidn'tgettheblue-chipyoungplayertheyboastedtheywouldreceiveinreturnforJamesHarden
JHarden4233·2023-01-31 11:46

一口气说出前后端 4 种鉴权方案

，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2023-01-31 08:18

Prometheus学习笔记——NWU_LK

监控系统组件指标数据采集指标数据存储指标数据趋势分析及可视化告警监控体系介绍系统层监控：监控CPU、Load、Memory、IO等中间件及基础设施类系统监控：Kafka、RabbitMQ、Tomcat、Mysql、Ceph、ShardingSpere
NWU_LK·2023-01-31 08:07

解读分库分表中间件Sharding-JDBC

3月18日-19日，由CSDN重磅打造的互联网应用架构实战峰会、数据库核心技术与实战应用峰会将在上海举行。作为SDCC2016（中国软件开发者大会）系列技术峰会的一部分，秉承干货实料（案例）的内容原则，这两场峰会将邀请业内顶尖的架构师和技术专家，共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领
varyall·2023-01-31 04:32

初识-Sharding-JDBC

一、Sharding-JDBC简介Sharding-JDBC最早是当当网内部使用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的不断迭代下，功能也逐渐完善，现已更名为ShardingSphere
天亮i·2023-01-31 04:02

ShardingJDBC核心概念与快速实战+执行Sql深入解读

ShardingJDBC核心概念与快速实战一、ShardingSphere1、shardingJDBC2、ShardingProxy3、区别二、ShardingJDBC实战1、核心概念2、测试项目介绍3
萧 炎·2023-01-31 04:02

10分钟入门分库分表中间件 Sharding-JDBC （必修课）

关注公众号后台回复pay或mall获取实战项目资料+视频作为Sharding-JDBC分库分表实战系列的开篇文章，我们在前文中回顾了一下分库分表的基础知识，对分库分表的拆分方式有了一定的了解，下边我们介绍一下
公众号-老炮说Java·2023-01-31 04:31

Myqsql使用Sharding-JDBC分表分库和读写分离

目录1Sharding-JDBC简介2核心概念3Sharding-JDBC和JDBC的关系4Sharding-JDBC执行原理4.1SQL解析4.2SQL路由4.3SQL改写4.4.SQL执行4.5.结果归并
赵广陆·2023-01-31 04:30

【Sharding-JDBC系列二】一文快速入门分库分表中间件 Sharding-JDBC （必修课）

作为Sharding-JDBC分库分表实战系列的开篇文章，我们在前文中回顾了一下分库分表的基础知识，对分库分表的拆分方式有了一定的了解，下边我们介绍一下Sharding-JDBC框架和快速的搭建一个分库分表案例
架构攻城之路·2023-01-31 04:30

elastic job源码分析 - 幂等性监听管理器

幂等性监听管理器io.elasticjob.lite.internal.sharding.MonitorExecutionListenerManager比较简单，只启动了一个监听器io.elasticjob.lite.internal.sharding.MonitorExecutionListenerManager.MonitorExecutionSettingsChangedJobListene
耶也夜·2023-01-31 02:35

Shardingsphere与dynamic-datasource配合实现多数据源切换

因为公司业务数据量的增加，必须对原有的表进行拆分，    之前记录了一下，Shardingsphere实现读写分离+分库分表，但还是不能满足一些需求，因为要归集以前的旧数据，对数据进行迁移、整理，所以就需要项目同时能访问原来的库以及新的分库分表
54番茄·2023-01-31 02:41

Elasticsearch学习（八）在springboot中查询null值

一、创建索引1、实体类@Data@Document(indexName="student",shards=</
_lrs·2023-01-30 09:47

Sharding-jdbc

Sharding-jdbc依赖com.dangdangsharding-jdbc-config-common1.5.4.11.配置多数据源publicDataSourcedatasource1(){DruidDataSourcedruidDataSource
MC丶LEE·2023-01-30 01:13

ElaticSearch

ElaticSearch1.索引基本操作1.1创建一个索引#创建一个索引PUT/person{"settings":{"number_of_shards":5,"number_of_replicas":
李洪良_948d·2023-01-30 00:29

clickhouse部署流程

二、安装部署clickhouse的分布式是由分片（shard）+副本（replica）来实现的，数
jhonshonjs·2023-01-29 18:47

4.Elasticsearch—索引的创建及查询（一）

（Windows环境下）使用curl命令首先是配置两个参数：number_of_shards参数是表示索引的分片数，number_of_replicas参数表示索引的备份分片数。索引的一些其他
依米兒·2023-01-29 18:26

2019-10-23

二、如何进行数据切分数据切分（Sharding），简单的来说，就是通过某种特定的条件，将存放在同一个数据库中的数据拆分存放到多个
b47251f96536·2023-01-29 18:43

springboot 整合 Shardingsphere 4.0 分库分表+读写分离

+thymeleaf+docker构建的个人站点开源项目（集成了个人主页、个人作品、个人博客）企业级延迟任务方案之RabbitMQ死信队列基础依赖本文的基础依赖博主上一篇博文：springboot整合Shardingsphere4.0
Winter_Chen·2023-01-29 13:45

rgw元数据同步流程

RGWMetaSyncStatusManager.run()thread调用该接口开启元数据同步RGWRemoteMetaLog.run_sync()获取master的信息，在结构体rgw_mdlog_info中,包含num_shards
小跑001·2023-01-29 11:27

ShardingSphere 5.0.0-alpha 分库分表解决方案（一）——分表

文章目录1.基本概念1.1什么是ShardingSphere1.2什么是分库分表1.2.1垂直分库1.2.2垂直分表1.2.3水平分库1.2.4水平分表1.3分库分表应用及问题2.ShardingSphere-JDBC2.1
止步前行·2023-01-29 08:24

5W 字详解分库分表之 Sharding-JDBC 中间件

本文大纲如下Sharding-JDBC的基本用法和基本原理前言1.我的出生和我的家族2.我统治的世界和我的职责3.召唤我的方式4.我的特性和我的工作方法4.3.1.SQL解析4.3.2.SQL路由4.3.3
公众号：Java后端·2023-01-29 08:53

SpringBoot整 ShardingSphere-JDBC实现读写分离

1简介官网：http://shardingsphere.apache.org/index_zh.htmlApacheShardingSphere是一套开源的分布式数据库解决方案组成的生态圈，它由JDBC
异次元app·2023-01-29 08:53
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他