E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
DRDS
分布式关系型数据库的粗浅认知
走分库分表加mysql存储路线的,开源产品中有cobar,mycat,sharding-jdbc等,闭源能使用到的产品包括阿里云上的
DRDS
(TDDL)、腾讯云上的DCDB(TDSQL)等,这条路线最近被另外两条路线抨击比较多
bucketli
·
2020-02-27 12:34
起了个名字叫毛片工程
登录容器后更像*nix进程,不是之前理解中的fullblownVM,systemd系列指令无法用,这个以后对PE可能痛苦;3:测试下来Pandora2.X在容器中无法初始化,HSF嵌入失败,ONS,Notify,
DRDS
佘山下的大鸟
·
2019-12-24 02:15
服务器大并发
RDSMySQL版对象存储--阿里云对象存储OSScdn加速--阿里云CDNDDoS防护--DDoS高防IP日志系统(服务器、数据库、缓存)数据库中间件Mycat数据库分库分表中间件阿里分布式关系型数据库服务
DRDS
jnxc1888
·
2019-12-15 00:27
数据库12
360Atlas-ShardingAlibabacobarMycat---->爱可生DBLETDDL---->DRDSHeisenberg--->百度Oceanus--->58Vitess--->OneProxy阿里云
DRDS
斗魂_2e5d
·
2019-12-12 09:04
数据库13
360Atlas-ShardingAlibabacobarMycat---->爱可生DBLETDDL---->DRDSHeisenberg--->百度Oceanus--->58Vitess--->OneProxy阿里云
DRDS
斗魂_2e5d
·
2019-12-07 01:18
通过阿里云maxcompute快速构建数据仓库
image.pngmaxcompute组件,大致分为几部分:1.数据集成:配置数据源,用于读取或者回写支持多种数据源MySQL数据源SqlServer数据源PostgreSQL数据源MaxCompute数据源
DRDS
聚变
·
2019-11-03 05:12
阿里云
DRDS
Sequence
以下大部分内容非原创,整理自阿里云官方文档DRDSSequence简介
DRDS
全局唯一数字序列(64位数字,对应MySQL中SignedBIGINT类型)的主要目标是为了生成全局唯一和有序递增的数字序列
bluexiii
·
2019-11-02 10:37
云栖干货回顾 |“顶级玩家”集结!分布式数据库专场精华解读
本专场是阿里云分布式数据库的年度盛会,多位阿里云分布式数据库领域核心专家以及业界专家进行了专题演讲,内容涵盖分布式POLARDB(
DRDS
)、AnalyticDB、OceanBase多款云上核心分布式数据库产品
大涛学长
·
2019-10-17 03:26
数据库
企业级分布式大数据解决
–分布式关系型数据库服务
DRDS
挂在管理多个云数据库RDSforMySQL。–可线性提升数据库存储容量及鬓发吞吐。
百世修行
·
2019-10-16 16:46
阿里云
大数据
分布式事务选型
-**AT模式**:GTS最主要的事务模式,通过GTS基于
DRDS
/RDS数据源,对sql语句提供分布式事
Mynah886
·
2019-09-19 14:51
分布式事务
Web项目
关于通过java调用datax,返回任务执行的方法
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
沉梦杨志
·
2019-08-28 10:49
从Oracle移植到MySQL的语句修改
缘起上周(32周)开始做Oracle到
DRDS
(MySQL)的改造,有一些各个平台通用的语法,要转换成MySQL支持的语法。
im天行
·
2019-08-14 00:00
sql
SpringBoot2.0 基础案例(07):集成Druid连接池,配置监控界面
Druid连接池是阿里巴巴内部唯一使用的连接池,在内部数据库相关中间件TDDL/
DRDS
都内置使用强依赖了Druid连接池,经过阿里内部数千上万的系统大规模验证,经过历年双十一超
知了一笑
·
2019-08-13 20:55
SpringBoot2
Druid连接池
SpringBoot2
案例
使用 DataX 增量同步数据
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
郭龙_Jack
·
2019-07-18 11:29
大数据
DRDS
与 TiDB 浅析
在谈论数据库架构和数据库优化的时候,会常听到“分库分表”、“分片”、“Sharding”…等关键词。值的高兴的是,这部分公司的业务量应该正在实现(或者即将面临)高速增长,或技术方面也面临着一些挑战。但让人担忧的部分是,他们的系统“分库分表”真的有选择正确吗?随着业务规模的不断扩大,用户需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量。关于数据库的扩展主要包括:业务拆分、主从
飞起的人生
·
2019-07-10 11:39
mysql
数据库
TiDB
互联网银行(3)-关于数据库
同时赶上互联网蓬勃发展的好时代,数据库产品也有了越来越多的可选项,还包括多种技术栈可供选择,有比较传统的数据库产品oracle,DB2,SQLSERVER,互联网公司比较高频的mysql、PG,还有现在新涌现的互联网产品
DRDS
ruitu-ruiyou
·
2019-06-12 21:09
MYSQL
架构
IT
DataX操作指南
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
Rest探路者
·
2019-05-15 17:00
Docker实现Canal MySQL增量日志订阅&消费环境搭建
阿里云
DRDS
(https://www.aliyun.com/product/
drds
)、阿里巴巴TDDL二级索引、小表复制powerdbycanal.AliyunDataLakeAnalyticshttps
boonya
·
2019-04-19 18:27
Mysql/Mycat
Docker
Linux命令之sed-替换字符串
1.sed-i's/CANCEL_TIME/CANCEL_RECV_TIME/g'csv2
drds
-TF_B_PAYLOG_D.json---指定文件替换,将文件中的CANCEL_TIME替换成CANCEL_RECV_TIME
一叶知秋秋秋秋秋秋
·
2019-04-19 10:47
DRDS
vs Tidb
起源
DRDS
数据库中间件Cobar、MyCat、AmoebaTidbgooglespanner/F1架构原理
DRDS
架构Tidb架构分片机制
DRDS
支持HASH、RANGE_HASH、MMDD等多种分片类型原理上都是基于
来留去送
·
2019-04-10 11:57
mysql,sqlserver数据库单表数据过大的处理方式
经常混迹于技术社区,频繁看到这个题目,今天干脆在自己博客重复一遍解决办法:针对mysql,sqlserver等关系型数据库单表数据过大的处理方式如果不是阿里云的分布式数据库
DRDS
那种多机器集群方案的话
opengps
·
2019-04-01 00:00
云计算
数据库性能优化
Sharding-Sphere 3.X 与spring与mybatis集成(分库分表)demo
最近在弄这个sharding-sphere,公司内部分库分表是在此业务代码上进行逻辑分库分表,但是这种总是不好,也调研了几款分库分表中间件、mycat、网易cetus、阿里
DRDS
、这几种就是背景强大,
hunhun1122
·
2019-02-15 16:04
Sharding-jdbc
drds
expect id or * after '.'. lexer state
drds
插入数据报如下错误Errorcause:expectidor*after'.'.lexerstate根据日志把日志中的sql放到客服端入库也不行,看了一下sql字段有一个高亮原来是mysql的关键字
Green_1001
·
2019-01-21 16:31
mysql
datax使用说明
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
SmartNewSexy
·
2019-01-14 11:34
中台建设技术支撑能力
分布式框架,主要解决微服务治理和API网关的能力,以dubbo、Springcloud,servicemesh为代表,以k8s+docker部署为主;2分布式数据库,主要解决数据库的分库分表能力,以阿里
DRDS
杨传池chris
·
2018-12-12 20:21
滴滴云使用 DataX 实现 Hive 与 MySQL 数据传输
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
付江
·
2018-12-07 11:22
云计算
开源
MySQL的分片(三)——解决方案及演示
商业服务目前有很多提供
DRDS
分布式数据库解决方案的服务商,比较流行的有阿里云。
rl_leee
·
2018-10-23 17:29
数据库
MySQL学习
分布式数据库中间件、产品——sharding-jdbc、mycat、
drds
一般对于业务记录类随时间会不断增加的数据,当数据量增加到一定量(一般认为整型值为主的表达到千万级,字符串为主的表达到五百万)的时候,性能将遇到瓶颈,同时调整表结构也会变得非常困难。为了避免生产遇到这样的问题,在做系统设计时需要预估可能产生的数据量:预估记录主体个数*预估记录主体产生的记录数(e.g.用户订单表预估数据量=预估用户数*单用户产生订单数),预估达到一定量时,就不得不考虑分库分表了,目前
jornada_
·
2018-10-06 22:38
基础
阿里云
DRDS
5.3 性能提升300%,比速超跑
近日,阿里云发布了第三代
DRDS
分布式SQL引擎,即
DRDS
(阿里云分布式关系型数据库服务)5.3版本,相较于大多数(拆分键上的等值查询、读写分离等)场景,
DRDS
5.3在性能上提升到之前的300%,且无需依赖第三方组件
代码派
·
2018-09-03 11:30
科学
科技
云
大数据
阿里云
云计算
云栖大会
数据库
DRDS
只读实例来解决!
为满足此类复杂SQL查询快速响应的需求,
DRDS
团队基于第三代分布式SQL引擎,进一步引入自研MPP多机并行计算引擎(Fireworks)及对应的优化策略,极大地补强了
DRDS
的复杂查询处理能力。
阿里云云栖社区
·
2018-08-21 00:00
数据处理
sql
大数据
分布式
数据库
DRDS
使用sqoop导入及range_hash分库分表功能测试
DRDS
使用sqoop导入及range_hash分库分表功能测试一、sqoop导入
drds
方式验证1、sqoop导入单表数据:a)创建表b_top_item_test1:CREATETABLEb_top_item_test1
frank_jyp
·
2018-08-17 17:17
drds
DRDS
分布式SQL引擎—执行计划介绍
阅读更多摘要:本文着重介绍
DRDS
执行计划中各个操作符的含义,以便用户通过查询计划了解SQL执行流程,从而有针对性的调优SQL。
猫耳呀
·
2018-07-12 17:00
polarDB和
DRDS
压力测试
测试工具:Sysbench测试对象:阿里云
DRDS
(8核16G)和PolarDB(2核4G)测试方法:Sysbench脚本压力测试。数据规模为10个表,每个表1000万行数据。
aeolus83
·
2018-07-04 13:50
数据库
polarDB和
DRDS
压力测试
阅读更多测试工具:Sysbench测试对象:阿里云
DRDS
(8核16G)和PolarDB(2核4G)测试方法:Sysbench脚本压力测试。数据规模为10个表,每个表1000万行数据。
aeolus1983
·
2018-07-04 13:00
浅谈erp系统数据库设计
迁移到
drds
数据库中间件,
AscaryBird
·
2018-06-17 16:21
java
Spark项目开发--Spark sql读写Oracle、Mysql【
DRDS
】、Hbase数据库--Java实现
Sparksql读写Oracle数据库–Java实现作者也是初入Spark开发没多长时间,在写代码的过程中也是踩了不少坑,毕竟一提到Spark的项目大部分都是Scala实现的,虽说Scala跟Java相似度极高,但是在接口的使用上还是有较大差异的。上代码使用Sparksql读取Oracle数据:代码地址:https://github.com/roczheng/SparkDemoJava/blob/
_PhotoAndCoding_
·
2018-06-02 09:07
spark
java
Oracle
Spark大数据处理框架专栏
复习整理-
DRDS
DRDS
:
DRDS
的基础原理是Sharding,即数据分片,是典型的水平扩展分布式数据库模型,和传统单机数据库shareanything架构不同,
DRDS
采用的是sharenothing架构。
JR_Way
·
2018-05-22 09:37
云服务
drds
基础笔记
帮助文档URL:https://help.aliyun.com/document_detail/29659.html?spm=a2c4g.11186623.6.539.6c5jsLdrds知识总结:bug1,分库分表的时候,在表对象中查不到.bug2,分库分表无法进行数据导入,提示表结构找不到.note1,分区键起作用后,可能导致查询出结果主键冲突.主键要提前设定为全局唯一.note2,分区键键值
JR_Way
·
2018-05-21 17:02
云服务
Mycat实现MySQL的分库分表、读写分离、主从切换
为了加深对
DRDS
整体架构的认识,我觉得有必要手工搭建基于Mycat实现的Mysql分布式数据库集群,现和大家分享下搭建流程,后续会针对Mycat的各项配置作进一步研究,敬请期待。
橡皮高
·
2018-05-08 17:04
Mycat
分库分表
读写分离
MySQL
DRDS
到MaxCompute(原ODPS)数据归档性能优化测试
阅读更多摘要:cdp同步基本原理数据集成(DataIntegration)是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点,可为20多种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。一、cdp同步基本原理数据集成(DataIntegration)是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可
猫耳呀
·
2018-04-25 15:00
测试
DRDS
到MaxCompute(原ODPS)数据归档性能优化测试
阅读更多摘要:cdp同步基本原理数据集成(DataIntegration)是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点,可为20多种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。一、cdp同步基本原理数据集成(DataIntegration)是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可
猫耳呀
·
2018-04-25 15:00
测试
C++应用适配
DRDS
小结
前言C++实现的业务系统已经支持MYSQL版本,本次改造主要适配
DRDS
(介绍见
DRDS
应用开发指南)。
DRDS
兼容MYSQL语法,适配起来很方便。
而立不惑之年
·
2018-02-14 11:42
DRDS
应用开发指南
阅读更多最近根据多个应用使用阿里云
DRDS
(https://www.aliyun.com/product/
drds
)的情况,我这边做了一个比较入门的攻略,因为文档很多,全部看完不现实,但是用好这个产品有几个点还是需要非常清楚
BucketLi
·
2017-11-09 10:00
分布式数据库的简单认知
走分库分表加mysql存储路线的,开源产品中有cobar,mycat,sharding-jdbc等,闭源能使用到的产品包括阿里云上的
DRDS
(TDDL)、腾讯云上的DCDB(TDSQL)等,这条路线最近被另外两条路线抨击比较多
BucketLi
·
2017-11-08 16:00
DRDS
到ODPS数据迁移指南
DRDS
到ODPS数据迁移采用CDP的方式同步数据。开始
DRDS
到ODPS数据迁移1.创建源和目标库表结构初次在同步数据前需要在源库和目标库创建好相应的表结构。
Mc顽固份子
·
2017-09-29 15:28
大数据
阿里云
DRDS
异构索引测试
点击查看全文一、概述对于
DRDS
的数据库的分表,查询时SQL中的where条件尽量会带上分库分表键,这样
DRDS
会将这个查询路由到具体的分库中,以提高查询效率。
Mc顽固份子
·
2017-09-19 15:10
大数据
阿里云
阿里8年资深技术专家谈企业级互联网架构的演进之路
沈询,阿里巴巴中间件&稳定性平台资深技术专家,在淘宝工作八年间,主要负责的产品有淘宝分布式数据库(TDDL/
DRDS
)、分布式消息系统(Notify/ONS)等,故对整个分布式的互联网架构比较了解。
雪夜凋零
·
2017-08-03 14:51
企业
架构
阿里
演讲整理
阿里8年资深技术专家谈企业级互联网架构的演进之路
沈询,阿里巴巴中间件&稳定性平台资深技术专家,在淘宝工作八年间,主要负责的产品有淘宝分布式数据库(TDDL/
DRDS
)、分布式消息系统(Notify/ONS)等,故对整个分布式的互联网架构比较了解。
weixin_34195546
·
2017-08-03 14:51
数据库
后端
java
数据库分布式架构巧设计_水平拆分不再难
在分享中,他主要介绍了水平拆分的原则以及解决方案,分享了
DRDS
的架构与实践。在阿里云生态日,袋鼠云首席数据库架构
骑猪逛街666
·
2017-06-16 14:00
中间件
配置管理
sql
c
Lotus
数据库分布式架构巧设计_水平拆分不再难
在分享中,他主要介绍了水平拆分的原则以及解决方案,分享了
DRDS
的架构与实践。在阿里云生态日,袋鼠云首席数据库架构
骑猪逛街666
·
2017-06-16 14:00
中间件
配置管理
sql
c
Lotus
上一页
1
2
3
4
5
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他