E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
drds
使用datax的RDBMSReader抽取hive表
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
空尘AI
·
2023-01-30 02:08
十年磨一剑,云原生分布式数据库PolarDB-X 的核心技术演化
PolarDB-X前身是淘宝内部使用的分库分表中间件TDDL(2007年,Java库的形态),早期以
DRDS
(2012年开始研发,2014年上线,分库分表中间件+MySQLProxy的形态)的品牌在阿里云上提供服务
·
2023-01-27 16:58
DataX快速入门
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
微毂
·
2023-01-26 05:21
大数据
大数据
Datax入门使用
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
人在旅途ぃ
·
2023-01-26 05:43
etl
DataX使用入门
MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、
DRDS
mynameisjinxiaokai
·
2023-01-26 05:23
java
BD
java
datax
DataX数据同步
MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、
DRDS
yzhSWJ
·
2022-12-24 12:35
java
sql
database
大数据
DataX新组件开发<附准备\开发\测试>:阿里云SLS日志服务数据reader组件
实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
等各种异构数据源之间高效的数据同步功能
dancoder
·
2022-12-10 04:38
大数据-数据采集
springboot
java
maven
intellij-idea
server sql 水平分表_
drds
创建分表
DRDS
异构索引测试一、概述对于
DRDS
的数据库的分表,查询时SQL中的where条件尽量会带上分库分表键,这样
DRDS
会将这个查询路由到具体的分库中,以提高查询效率。
小键盘Francesca
·
2022-12-07 12:33
server
sql
水平分表
从中间件到分布式数据库,PolarDB-X的透明之路
简介:PolarDB-X前身是淘宝内部使用的分库分表中间件TDDL(2007年,Java库的形态),早期以
DRDS
(2012年开始研发,2014年上线,分库分表中间件+MySQLProxy的形态)的品牌在阿里云上提供服务
·
2022-09-16 16:44
后端
mysql的中间件技术_数据库中间件技术摘要
解决的问题数据库相关平台主要解决以下三个方面的问题为海量前台数据提供高性能、大容量、高可用性的访问为数据变更的消费提供准实时的保障高效的异地数据同步上图的讲解最上层的是分布式数据库分表分库中间件,读写分离,水平扩容--》代表中间件有(Cobar,Mycat,tddl,
drds
一本黑
·
2022-04-29 15:57
mysql的中间件技术
5分钟搞定 MySQL 到 PolarDB-X 数据迁移和同步-CloudCanal实战
本链路特点包括完整支持结构迁移、全量迁移、增量同步、数据校验支持PolarDB-X云版本API级对接(自动获取实例、添加白名单)支持PolarDB-X开源自建版PolarDB-X前身
DRDS
(内部产品名称
·
2021-11-05 14:20
数据库
深度干货|云原生分布式数据库 PolarDB-X 的技术演进
2014年阿里集团开始全面上云,将TDDL升级成
DRDS
分布式数据库服务,实现了在线扩缩容以及数据拆分等能力。2018年后,国内分布式数据库技术进入一个百家争鸣的局
·
2021-10-14 14:37
数据库mysql
深度干货|云原生分布式数据库 PolarDB-X 的技术演进
2014年阿里集团开始全面上云,将TDDL升级成
DRDS
分布式数据库服务,实现了在线扩缩容以及数据拆分等能力。2018年后,国内分布式数据库技术进入一个百家争鸣的局
阿里云云栖号
·
2021-10-14 13:05
云栖号技术分享
big
data
数据库
mysql
Apache doris Datax DorisWriter扩展使用方法
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、
DRDS
·
2021-09-15 14:25
apache-doris
CloudCanal和Canal的区别
研发团队CloudCanal核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作,包括阿里云分布式数据库中间件产品
DRDS
、内部核心系统数据同步工具精卫、阿里云数据湖产品
·
2021-08-03 15:23
大数据
云上高并发系统改造最佳实践
简介:在水平扩展阶段通过SLB挂nginx增加负载均衡扩展性,在数据库拆分阶段通过
DRDS
进行分库分表。
·
2021-07-27 19:48
day12Mycat我的猫
.分布式解决方案AlibabacobarMycat---->爱可生DBLETDDL---->DRDSHeisenberg--->百度Oceanus--->58Vitess--->OneProxy阿里云
DRDS
兴龙_4230
·
2021-06-22 23:53
云上高并发系统改造最佳实践
简介:在水平扩展阶段通过SLB挂nginx增加负载均衡扩展性,在数据库拆分阶段通过
DRDS
进行分库分表。
·
2021-06-22 16:38
阿里云RDS&
DRDS
初探
简介RDS阿里云关系型数据库(RelationalDatabaseService,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和高性能存储,RDS支持MySQL、SQLServer、PostgreSQL和PPAS(PostgrePlusAdvancedServer,一种高度兼容Oracle的数据库)引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案
bluexiii
·
2021-05-12 20:31
2018-01-08 分布式数据库分页方案
分布式数据库的分页方案本篇文章介绍了在
DRDS
上做时间序数据分页展示的一种方法,初看简单,实则细节较多,需要一定的关系型数据库基础,也是我们用户在实际使用产品过程中碰到的问题之一,这里分享给大家。
EamonZzz
·
2021-05-05 06:23
公司数据库逻辑
pro库
drds
库通道库查询库pg库bi库tidb库odps查询pro库和
drds
库是线上数据库通道库属于枢纽用户同步pro和
drds
的数据,查询库用于对通道库数据二次同步,用于程序员查看线上问题,oss
eric_fun
·
2021-04-23 11:42
读写分离
业界方案Atlas(360)MycatSharding-JDBC(当当SDK)MysqlProxy云服务:
DRDS
/DCDB/UDDBAmoebaSpring+Mybatis自己开发架构读写分离架构
互联网牛仔
·
2021-04-13 23:54
DataX在数据迁移中的应用
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
阿里云云栖号
·
2021-04-13 00:28
数据分片
业界方案:Atlas(360)MycatSharding-JDBC(当当SDK)云服务:
DRDS
/DCDB/UDDBAmoeba架构:分库分表后如何确保事务参考:https://www.jianshu.com
互联网牛仔
·
2021-03-11 08:04
DRDS
只读实例来解决!
为满足此类复杂SQL查询快速响应的需求,
DRDS
团队基于第三代分布式SQL引擎,进一步引入自研MPP多机并行计算引擎(Fireworks)及对应的优化策略,极大地补强了
DRDS
的复杂查询处理能力。
阿里云云栖号
·
2021-03-10 09:27
DataX在数据迁移中的应用
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
阿里云开发者
·
2021-02-23 10:59
弹性计算
分布式计算
Oracle
关系型数据库
MySQL
DataX
数据库
开发工具
MaxCompute
git
DataX在数据迁移中的应用
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
·
2021-02-07 14:54
DataX在数据迁移中的应用
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
·
2021-02-07 14:53
DataX在数据迁移中的应用
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
阿里云云栖号
·
2021-02-07 10:14
云栖号技术分享
针对数据库连接池到
DRDS
连接探活的优化
简介:针对数据库连接池到
DRDS
连接探活的优化问题背景========近期在给某专有云客户进⾏云产品应⽤性能优化分析时,发现了⼀个有趣的关于
DRDS
使⽤层⾯的问题,这⾥给⼤家分享⼀下。
阿里云云栖号
·
2021-01-12 15:31
javascript
chrome-devtools
postcss
数据库分布式架构巧设计_水平拆分不再难
在分享中,他主要介绍了水平拆分的原则以及解决方案,分享了
DRDS
的架构与实践。在阿里云生态日,袋鼠云
阿里巴巴_晓神
·
2020-08-24 01:32
使用阿里云
DRDS
数据库做分库分表中遇到的问题分析记录
基于阿里云
DRDS
数据库问题分析记录线上反应接口响应速度太慢,由此展开排查。通过执行时间定位很快定位到一个执行时间很长到慢SQL。该SQL基于阿里云
DRDS
做到分库分表调用。
ethread
·
2020-08-22 14:14
分库分表
mysql
分布式数据库的分页方案
转载:分布式数据库的分页方案本篇文章介绍了在
DRDS
上做时间序数据分页展示的一种方法,初看简单,实则细节较多,需要一定的关系型数据库基础,也是我们用户在实际使用产品过程中碰到的问题之一,这里分享给大家。
meng_philip123
·
2020-08-21 21:49
DataX简单上手
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
小伙伴00
·
2020-08-14 22:08
学习 Python3 使用 DataX 读取 csv 文件,写入另一个 csv 文件
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
王图思睿
·
2020-08-14 21:52
DataX
Python
Python
学习记录
DataX
csv
Python
离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
weixin_33856370
·
2020-08-14 20:52
离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
weixin_33688840
·
2020-08-14 20:04
json
python
数据库
数据仓库ETL之DataX(一)简介
是阿里巴巴内部被广泛使用的离线数据同步工具,实现包括MySQL,Oracle,SqlServer,PostgreSQL,HDFS,Hive,ADS,HBase,TableStore(OTS)、MaxCompute(ODPS)、
DRDS
那怪大尾巴狼咯
·
2020-08-14 20:58
数据仓库
DataX原理及安装
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
Rudolf_liu
·
2020-08-14 19:20
数据采集
datax_web搭建
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
qq_33752493
·
2020-08-14 18:51
分布式数据库中间件sharding-jdbc、mycat、
drds
对比
一般对于业务记录类随时间会不断增加的数据,当数据量增加到一定量(一般认为整型值为主的表达到千万级,字符串为主的表达到五百万)的时候,性能将遇到瓶颈,同时调整表结构也会变得非常困难。为了避免生产遇到这样的问题,在做系统设计时需要预估可能产生的数据量:预估记录主体个数*预估记录主体产生的记录数(e.g.用户订单表预估数据量=预估用户数*单用户产生订单数),预估达到一定量时,就不得不考虑分库分表了,目前
softwareDragon
·
2020-08-14 18:44
数据库
分布式
数据库
DataX操作指南
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
一世一生命
·
2020-08-14 18:26
DataX 3.0初体验
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
胡晗-
·
2020-08-14 18:16
Mysql
mysql
如何用DataX自定义KuduWriter插件
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
山间浓雾有路灯,风雨漂泊有归舟
·
2020-08-14 18:54
大数据
Kudu
DataX
DataX
kudu
大数据
数据库
ETL
DataX自定义transformer编写指南
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
陆上溪流
·
2020-08-14 17:02
4
-
Engineering
通过java调用datax,返回任务执行详情
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
沉梦杨志
·
2020-08-14 17:42
java
datax
datax使用小记
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
HYESC
·
2020-08-14 16:08
大数据
数据库
DataX 实战使用说明
是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台,实现包括MySQL,Oracle,SqlServer,Postgre,HDFS,Hive,ADS,HBase,TableStore(OTS),MaxCompute(ODPS),
DRDS
白夜行"
·
2020-08-14 15:12
离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
weixin_33713707
·
2020-08-14 15:19
DataX 定制数据传输: 使用DataX Transformer
是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、
DRDS
东海陈光剑
·
2020-08-14 15:09
编程实践
上一页
1
2
3
4
5
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他