ODPS

DataX 简介及架构原理

不同存储结构的数据源致力于实现包括关系型数据库MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
温岚万叶·2023-03-30 08:53

分布式 datax 架构设计

1.背景DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
中间件XL·2023-03-30 07:48

datax与多种数据库间数据类型映射

目录一、背景二、映射1.Hive2.HBase3.MongoDB4.Oracle5.PostgreSQL6.SqlServer7.Mysql8.ODPS9.OSS10.OTS11.TSDB12.ADBPG13
chimchim66·2023-03-30 07:11

datax关系/图数据库(neo4j)插件设计与实现

背景DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
中间件XL·2023-03-30 06:58

技巧篇：常用的python代码汇总

一些常用的python代码合集，方便检索引用模块1：读写excel文件fromdatetimeimportdatetimeimportodpsimportxlwtimportosfromodpsimportDataFrameimportpandasaspdimportxlrdimportnumpyasnpfromcollectionsimportdefaultdictfromcollections
Python程序员小泉·2023-03-30 03:21

安装zabbix6.0.9-agent2报 libpcre2-8.so.0: wrong ELF class: ELFCLASS32解决

我们直接强制安装加上--nodps，无需依赖包，可以正常安装接下来启动：/usr/sbin/zabbix_agent2:errorwhileloadingsharedlibraries:libpcre2
姜橘猫·2023-03-29 02:35

odps-0121145:Data overflow - Convert from 1118542.386 to scale overflow

问题:在使用odpssql做除法运算时，出现如下错误信息：odps-0121145:Dataoverflow-Convertfrom1118542.386toscaleoverflow简化的SQL:SelectCaseWhenNvl
柳比歇夫·2023-03-22 11:03

odps运行错误实例：计算相关

odps运行错误实例：1.涉及代码：round(pv1/pv2,4)运行结果：FAILED:ODPS-0121145:Dataoverflow-Divfuncresultoverflow,twoparamsare3and0
--曹曹--·2023-03-22 11:30

ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed

使用maxcomputesql时报错：FAILED:ODPS-0130071:[0,0]Semanticanalysisexception-physicalplangenerationfailed:org.apache.calcite.plan.RelOptPlanner
有石为玉·2023-03-22 11:59

【云计算】阿里云爬坑记录-ORDER BY must be used with a LIMIT clause

经常会出现这样的报错，现在记录一下我的处理流程01.发现问题打算用tableau分析一下site_name这个字段的分布情况，首先想把site_name里面的字段分好类别结果就是：报错...failed:ODPS
mafumafu2018·2023-03-22 11:58

解决方法：FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.

**产生原因：**上游数据中的字段类型为decimal（38,18），下游数据类型也为decimal**解决方法：**将两表数据类型统一。上游数据的类型为decimal，下游数据类型也为decimal
DataWorkder_QIng·2023-03-22 11:19

修改linux系统时间-ODPS-0410031-解决方案

写在前面近期较忙，，，仅参考记录问题解决方案问题描述MaxCompute客户端配置因本地时间不对导致超时FAILED:ODPS-0410031:Authenticationrequestexpired-theexpiretimeintervalexceedsthemaxlimitation
kngines·2023-03-22 11:49

ODPS-0130013 :Authorization exception

报错开发工具阿里云大数据处理平台中的dataworks报错现象问题原因RAM子账号不在访问的项目中。解决方案将RAM子账号添加到要使用的项目中，给予RAM子账号开发者权限。
拒—绝·2023-03-22 11:18

阿里云出错问题记录：ODPS-0121145:value out of range

阿里云问题报错解决今天在生产上遇到了一个问题，特此记录一下。问题出现的原因是因为数据源头单位替换了现有的表，将其中的一些表字段做了更改，有三个字段将datetime类型转换成了timestamp类型；后续的问题源头也在这。我在遇到这个问题的思路首先是查看了今天的表字段和之前的表字段有哪些不一样的地方，发现不一样的地方在于那三个被源头单位修改了类型的表字段；之后我的思路就是查看一下报错的原因是为什么
啊帅和和。·2023-03-22 11:37

如何绕过ODPS不支持的笛卡尔积的限制Cartesian product is not allowed without map join

如何绕过ODPS不支持的笛卡尔积的限制需求情景再现withtmp1as(select'保定五洲长城大街店'asa,'华北战区'ascunionallselect'新疆五洲乌鲁木齐店'asa,'西北战区'
YiRan_Zhao·2023-03-19 11:11

如何用DataX自定义KuduWriter插件

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
山间浓雾有路灯·2023-03-13 01:56

阿里云数仓实时同步任务binlog解析文档

以oneclickOdps_***_to_odps_first_hour_extra_level_checkStreamXDone为例目标表日志：同步脚本：解析逻辑：主要的字段是_execute_time
Hunter_Young·2023-02-26 06:35

odps数据格式mysql_Datax实现odps和mysql之间数据传输

一、mysql的数据加载到odps的表中{“job”:{“setting”:{“speed”:{“byte”:1048576}},“content”:[{“reader”:{“name”:“mysqlreader
大风吹牛·2023-02-01 07:57

ODPS 数据全量/增量同步方案

随着业务量增加，原采用的mysql对大量业务数据的处理效率降低，公司采购的ODPS（MaxCompute）阿里数据处理平台，进行数据的处理。
梦幻通灵·2023-02-01 07:56

阿里云大数据实战记录3：MySQL迁移到ODPS SQL

而迁移的目标仓库是标准模式（开发生产分环境跑），使用的ODPSSQL。
Xin学数据·2023-02-01 07:26

图解 DataX 核心设计原理

DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
后端进阶·2023-01-31 06:43

使用datax的RDBMSReader抽取hive表

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
空尘AI·2023-01-30 02:08

DataX

第1章DataX简介1.1DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
CJ21·2023-01-26 13:33

DataX与DataX web入门

1.DataX3.0简介DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
`青冘`·2023-01-26 06:21

DataX快速入门

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
微毂·2023-01-26 05:21

datax简单入门和oracle数据库安装

概述什么是dataxDataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
青涩的芒果汁·2023-01-26 05:50

Datax入门使用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
人在旅途ぃ·2023-01-26 05:43

datax入门

dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS
luoyunfan6·2023-01-26 05:36

DataX使用入门

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
mynameisjinxiaokai·2023-01-26 05:23

阿里巴巴超大规模 Kubernetes 基础设施运维体系

2021年天猫双十一，对于ASI来说又是难忘的一年，今年我们又完成了很多“第一次”：第一次全面统一调度：电商、搜索、odps离线和蚂蚁业务全面上ASI统一调度架构，整个业务
阿里云技术·2023-01-12 11:05

windows上datax的使用记录

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
AnalogElectronic·2023-01-07 09:46

详解DataX及使用

DataX概述简介DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Keven He·2023-01-03 14:29

invalid python sdk_Python SDK

PyODPS安装时提示Warning:XXXnotinstalled，如何处理？报错原因为组件缺失，请参考报错信息中提示的“XXX”信息明确缺失的组件名称，使用pip命令安装此组件。
weixin_39778582·2023-01-03 11:08

ODPS 之SQL

1.基本概念1）ODPS：OpenDataProcessingService，简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域
scott198510·2023-01-02 18:19

DataX简介与部署

第1章DataX简介1.1DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
就是这个范~·2022-12-31 16:09

MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解

目录1、行转列函数2、判空函数3、时间函数4、建表语句1、行转列函数odps中行转列函数wm_concat，将列信息转成行显示，可指定分隔符。
·2022-12-27 00:27

DataX数据同步

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
yzhSWJ·2022-12-24 12:35

DataX从入门实战到精通一文搞定

1、概述1.1、什么是DataXDataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
prefect_start·2022-12-24 12:27

阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

一、前言上文我讲到阿里云-数据仓库-数据分析开发神器-ODPS，今天我带领大家一起走进神器的成长环境及它的数据世界。
风一样的美狼子·2022-12-22 09:24

阿里云-数据仓库-数据分析开发神器-ODPS

一、ODPS基本面-F101、什么是ODPS？1、开发数据处理服务(OpenDataProcessingService，简称ODPS)，2016年后更名MaxComputer。
风一样的美狼子·2022-12-19 09:36

dataworks自定义函数开发环境搭建

自定义函数开发环境搭建1.根据教程搭建好客户端odpscmdhttps://help.aliyun.com/document_detail/27971.html2.用idea安装MaxComputeStudiohttps
菩提树下的呆子·2022-12-10 12:27

DataX新组件开发＜附准备\开发\测试＞：阿里云SLS日志服务数据reader组件

实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能
dancoder·2022-12-10 04:38

Ubuntu下安装Datax-web数据交换平台

0.前言DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
geekfly·2022-12-10 04:44

SpringMVC大文件上传如何做断点续传

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器
M_Snow·2022-11-15 10:31

odps传大文件到oss上_SpringMVC如何上传大文件

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器
单学军·2022-11-15 10:24

ODPS SQL优化总结

ODPS(OpenDataProcessingService)是一个海量数据处理平台，基于阿里巴巴自主研发的分布式操作系统(飞天)开发，是公司云计算整体解决方案中最核心的主力产品之一。
阿里巴巴淘系技术团队官网博客·2022-10-17 10:14

【大数据技术】trans_array的用法及示例详解

的用法及示例详解假定有一下一张表t_test，记录了某小组几位员工近几个月的绩效等级namemonthlevel张三2,3,4,5a,c,b,d李四1,4,5,7c,a,b,e王五2,4,5b,a,b现在想利用阿里odps
daydayup-2016·2022-09-21 14:49

使用insert into和insert overwrite插入数据的区别【Hive or Odps】

1、创建一个测试表insert_test#标识创建表insert_test，默认新增id列，并插入一条数据1CREATETABLEinsert_testASSELECT1ASid;2、插入数据使用insertinto插入数据：INSERTINTOinsert_testSELECT2ASid;--insertinto可以重复插入数据执行两次上述命令，发现会重复插入行：使用insertorverwri
一宿君·2022-09-06 14:34

oracle转成整型_Oracle - ODPS数据类型转换

DataTypeDescriptionODPS转换到ODPSDescVARCHAR2(size[BYTE|CHAR])VARCHAR2(1-4000)string单个String列最长允许8MB。
weixin_39955355·2022-09-02 17:11

阿里云「MaxCompute最佳实践」征文大赛获奖文章公布

与传统Hadoop相比，阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
weixin_34033624·2022-09-01 07:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他